3月27日，日軍再度增派援兵，攻占了台兒莊要地文昌閣，代理團長王冠五組織72人的敢死隊，效法辛亥革命黃花崗72烈士，突襲日軍，與敵展開慘烈肉搏戰巷戰，奪回文昌閣，72名壯士生還58名，營長王祖獻等14人犧牲。28日，日軍切斷了中國守軍第31師師部與莊內的聯繫。該師師長池峰城指揮，以強大炮火壓制敵人，並以仵德厚為隊長，率領40人的敢死隊，手掄大片刀，腰束手榴彈，與敵肉搏格鬥，40人只有3人生還。
3月29日，蔣委員長來電指示「台兒莊屏障徐海，關係第二期作戰至巨，故以第二集團軍全力保守，即存一兵一卒，亦須本犧牲精神，努力死拼，如果失守，不特全體官兵應加重罰，即李長官、白副總長、林次長亦有處分。」
徐州會戰，身綁手榴彈的國軍敢死隊隊員（左）和巷戰（右）。（以上皆為網絡圖片）
至4月2日，台兒莊三分之二被敵占領，池峰城31師與日軍已經血拼了7晝夜，官兵傷亡達7成以上。池峰城向集團軍總司令孫連仲告急。孫連仲電話請示李宗仁可否暫時放棄台兒莊，退守運河南岸。李宗仁說：「勝負之數往往決定於最後五分鐘」，嚴令孫連仲集團軍守至次日拂曉，等待湯恩伯軍團前來增援。孫連仲知軍命不可違，對池峰城命令說：「士兵打完了，你就自己上前填進去。你填過了，我就進來填進去。有敢退過運河者，殺無赦！」
池峰城指揮所部以必死之決心，王冠五率所部堅守南關一隅，死拼不退，分組用大刀片、手榴彈向敵奮勇夜襲，反覆衝殺，與敵搏殺至4月4日夜，將敵增援部隊擊退。
眾志成城合圍日軍台兒莊大捷鼓舞全國軍民
當孫連仲集團軍與敵在台兒莊一帶血拼時，李宗仁與白崇禧商量後，電令湯恩伯軍團放棄攻擊嶧縣、棗莊，立即趕赴台兒莊以北，向敵發動攻擊；並急令作為總預備隊的周碞第75軍和黃光華21師加入作戰。第一戰區司令長官程潛也奉命趕到徐州督戰支援。各路國軍精誠團結，同仇敵愾，終於將進入台兒莊地區的瀨谷支隊完全包圍。湯恩伯率第二十軍團向城、愛曲地區，與日軍坂本支隊激戰數日，使其救援瀨谷支隊的計劃落空。
1938年4月3日，李宗仁下達總攻擊令。湯恩伯軍團（關麟征52軍、王仲廉85軍、周碞75軍）在台兒莊附近向敵展開猛烈攻勢。日軍拼力爭奪，占領大部分街市。國軍展開街壘戰，逐次反擊，肅清敵人。
4月4日，中國空軍以27架飛機對台兒莊東北、西北日軍陣地進行轟炸。廣西兩個中隊分成兩個梯隊，從河南周家口機場起飛，經歸德上空與戰鬥機三個梯隊匯合，飛往徐州以北嶧城，棗莊一帶，轟炸敵軍後續部隊。
徐州會戰主帥李宗仁、白崇禧趕到台兒莊附近，親自指揮以孫連仲集團軍為主的左翼兵團和以湯恩伯軍團為主的右翼兵團大舉反攻。國軍激戰4天，終於以劣勢裝備重創日軍精銳師團的瀨谷、坂本兩個支隊，殲敵近2萬，繳獲大批武器、彈藥，粉碎了「皇軍不可戰勝」的狂言，贏得抗戰以來第一次勝利大捷——台兒莊大捷。
美聯社記者搶先向全世界宣布報導了台兒莊大捷的消息，並讚揚「台兒莊的勝利，是一次東方的坦能堡大會戰」（第一次世界大戰期間的坦能堡戰役，1914年德軍大敗入侵德國的俄國軍隊）。
台兒莊大捷是日本自明治維新建立新式陸軍以來的第一次戰敗，也是中國軍隊自「七･七盧溝橋事變」以來首次在戰場上徹底擊敗日軍精銳，一掃上海、南京、太原淪陷後的陰霾和悲觀情緒，極大鼓舞了中國軍民堅持抗戰到底的信念，為保衛臨時首都武漢，遷移轉運抗戰中心和戰略物質，爭取到三個多月的寶貴時間。
