在徐州突围中，李宗仁指定张自忠指挥第59军和第21、27、139师等部殿后，掩护大军撤退；完成任务后开许昌集结。这既是对张自忠的信任，也是对他更为严峻的考验。因为自淮河作战以来，59军已连续作战3个月，全军5个旅只剩下不到2个旅，急需撤出战场进行整补。因此，以屡担巨艰、伤亡惨重的59军承担殿后重任，确属勉为其难。但张自忠毫不迟疑地接受了任务。
至5月17日，战区主力部队陆续脱离战场。18日，张自忠才命令各掩护部队放弃阵地，开始撤退。他让21、27、139师先行，自己率领59军殿后。
西行不久，将近黄昏时分，日军追击部队一部竟已先期在大路的北侧抢占了一个村庄，企图拦截中国军队撤退部队。中国的几支部队到达此地后，发现敌情，搞不清日军虚实，加之群龙无首，纷纷停止前进，观望形势，谁也不肯先行，更不愿殿后。张自忠来到后，各部队长纷纷前来请示办法，张自忠爽快地说：“我以一个旅监视该敌，你们立即撤退，开进时要有秩序，切不可惊慌。”随后，各部队按他指定的顺序迅速安全地撤退了。日军本欲趁中国军队撤退混乱之机发动袭击，但见中国军队秩序井然，并有准备，故未敢轻举妄动。当时在场的军事委员会联络参谋李诚一说：“张自忠予人以安，自己处其危境，真乃名将典型。”
21日，各部队相继进入皖东北。因渡濉河进展缓慢，各路大军拥滞于濉溪口一带。由于缺乏统一指挥，加之后有日军追兵，上有日机轰炸，各部队乱作一团。这样一来，不但部队难于行动，而且混杂难分。许多部队失去控制。但张自忠自有妙计，他命令59军全体官兵一律将军帽反戴，以便与兄弟部队相区别。此法果然奏效。在混乱不堪的大军之中，惟独59军标记明显，井然有序。此事虽小，却反映了张自忠丰富的带兵经验和59军的训练有素。
退却中，他指挥部队徐徐开进，且战且退，始终保持着战斗队形和严明的军纪，并没有为摆脱险境而加快行军。凡遇有敌军驻扎村庄，张自忠一般是派部队乘黑夜将敌包围监视起来，掩护大军安全通过；倘被敌发觉，则先机制敌，以炽盛火力压制日军，候大军安全通过，然后适时撤出战斗。
在危急时刻，张自忠常常亲率手枪队走在全军之后。一次，部队在一个小镇上休息，突然飞来3架敌机，一阵狂轰滥炸，街道旁的几十所房屋顿成瓦砾。张自忠趴在路边，一颗炸弹在附近爆炸，气浪溅击着泥土，掀掉了他的军帽，泥土盖了他一身。敌机过后，他站起身来，掸去泥土，戴上军帽，说说笑笑继续行进。这种临危不乱、处变不惊的态度，给官兵以极大感染，有效地稳定了军心。
作为高级将领，能够在艰苦而危险的远程突围中走在部队的最后，这在国民党军中是极为罕见的。因而，张自忠的事迹很快传播开来，连蒋介石也有耳闻，但他未目睹其事，心中仍半信半疑。后来在武昌遇到冯玉祥，便向冯打听：“徐州队伍退下来，张自忠走在最后是真是假?”冯答：“一点不假。”并把了解到的情况对蒋说了一遍。蒋听后连连点头说：“真是好干部!”冯玉祥接着话茬说：“你应当赶快拨五六个军归他指挥就好了。”蒋介石点着头说：“好，好!等我想想再说。”
徐州到许昌，相距500公里，全靠步行。官兵连续作战3个多月，再进行长途行军，其艰苦情形可想而知。张自忠解决困难靠的还是老办法——与士兵同甘共苦。冯玉祥在自己的著作中记载了这件事，他写道：张自忠将军的队伍，全是步行，官兵的脚上磨了很多的泡，有些士兵左歪、右歪地走不动。张将军就把队伍集合在一个地方，坐在地上，先对大家说明军人要忍耐困苦的道理；然后，张将军把鞋、袜子脱下来叫大家看他的脚上有多少泡，官兵们看见他满脚都是泡，这样张将军把脚抬起来向地下一顿，扑哧一声，血往四下溅。两只脚顿完了，队伍再走。那些官兵们连一个歪着走的都没有了，都是挺胸突肚地向前走去。
经过千里跋涉，59军于6月1日抵达许昌。
同样担负掩护撤退任务的刘汝明之第68军，完成掩护任务后，巧妙地跳出日军数十万大军重围，安全转移。
至此，徐州会战胜利结束。