本不能立足，只能纷纷撤下城墙。
趁着这个机会，刘牢之去往其他城墙处查看状况。这一看不要紧，情况令他极为担忧。由于之前大量的防守物资和器械集结于北城，导致其他城墙的人力和物资，防守的器械颇为不足。以至于抵挡秦军的进攻不够强力。
而更令刘牢之感到不对劲的是，对方在其他三处的进攻是按部就班而有序进行的。先压制城头守军，同时搭建浮桥。之后发动冲锋，开始攻城。
好在各面城头的守军数量达到四千余，倒也能够应付对方上万人的进攻。但是，对对方打击力度的不足，造成的伤亡不够。这令城墙面临多次被突破的危险。
刘牢之很想将北城的兵马调集过来参与防御，但是他又很担心。熊熊大火虽然暂停了进攻，但是对方两万多兵马依旧在城北虎视眈眈。一旦大火熄灭，必然卷土重来。到时候再抽调兵马却是来不及的。
想来想去，还是冒险抽调了两千人来增援西城。
但紧接着，东城又告急。刘牢之只得再抽调两千人增援东城。
随着时间的推移，战斗已经进行了四个时辰。从清晨开始的战斗已经进行到了午后未时末。好消息是，北城的大火虽逐渐熄灭，但是余烬和热浪犹在，对方暂时无法进攻。
坏消息是，长时间的作战，其余三面城墙被突破多次，敌人频繁攻上城墙。这是不好的迹象。北城的敌军也开始转移到西城，西城又陷入了危急之中。
刘牢之得到禀报，连忙将北城兵力调往西城，亲自指挥作战。北府军顽强的打退了秦军一次又一次的进攻，杀敌无数。
但是，暮色之中，消失已久的骑兵马蹄的轰鸣在东城响起。秦军两万骑兵生力军在暮色掩护之下冲到了东城下。当刘牢之接到禀报，带着三千人王东城增援的时候，东城的城头已经被秦军攻破。赖以御敌的瓮城被占领。
数千名北府军只能在城墙上阻挡对方，不让对方占据主城楼和城墙。但主城墙的陷落也已经是时间问题了。
刘牢之见此情形，惊愕瞠目。自己本以为固若金汤的彭城，居然被对方一顿乱拳砸的晕头转向。
东城在天黑后告破，惨烈的巷战开始。北府军虽然英勇，但进入巷战，对方兵马人数的优势将会被放大，他们能做的只是和对方换命罢了。
刘牢之没有坚持和彭城共存亡。南城还有退路，一开始留下南城城门通道便是决心不足的表现，此刻自然无决死之心。当巷战开始之后，刘牢之带着数千兵马直