關麟征及其第五十二軍參加平漢鐵路戰鬥後又轉戰河南、山東。1938年初，關麟征率軍參加台兒莊會戰，這是他抗戰時期參與的第二個著名戰役。是年3月，日軍為了打通津浦鐵路，實行南北會合，瘋狂地進攻魯南，欲先奪取台兒莊而後占領徐州。日軍磯谷第十師團、阪垣第五師團由津浦鐵路、濰台公路兩路夾攻台兒莊。國民黨第五戰區司令長官李宗仁，坐鎮徐州指揮20餘師國軍在台兒莊及其周圍地區進行防守戰。孫連仲的第二集團軍及其所屬的池峰城三十一師負責守衛台兒莊城寨，進行正面作戰。當時關麟征第五十二軍配屬湯恩伯第二十軍團。二十軍團在台兒莊會戰中是側擊軍團，它的任務是在台兒莊東北面攻擊日軍，配合台兒莊正面作戰。
戰鬥打響後，3月24日，關麟征第五十二軍向盤踞在津浦鐵路台棗支線的日軍磯谷第十師團的瀨谷旅團發起進攻。台兒莊東北地區只有少數小丘，一片平原，攻擊部隊缺乏地形掩護，所帶基本上是輕武器，火力不如對方，但關麟徵發現日軍白天作戰活躍，晚上卻龜縮在營房不敢外出。針對這種情況，關麟征命令部隊晝伏夜出，利用日軍黑夜不敢活動的弱點，挑選膽大心細的戰士用汽油在日軍營房縱火焚燒，並組織機槍手用密集火力壓制日軍。日軍黑夜受到突然火攻不辨東西，不摸虛實，倉皇應戰，胡亂射擊，結果自相踐踏，死傷無數。日軍赤柴聯隊就是這樣被關麟征的部隊消滅的。
正當第五十二軍進攻日軍節節勝利的時候，3月31日下午，由臨沂南下的日軍板垣第五師團沂州支隊山約4000人配備野炮、坦克突然襲擊第五十二軍指揮部，日軍的炮彈已落到指揮部附近。當時第五十二軍的兵力已經全部投入戰鬥，關麟征身邊只有一個警衛營的兵力約300人。日軍近在咫尺，形勢十分嚴峻。這時前方的第五十二軍戰鬥部隊聽到後方炮聲非常密集，就打來電話詢問，關麟征怕第一線部隊軍心不穩，就謊稱是自己部隊在發炮射擊。之後，關麟征命令警衛營長徐文亮，帶著身邊僅有的300人。跑步到距日軍約1000米的地方，然後散開向日軍射擊，作佯攻狀以迷惑敵人。這佯，就為他迅速抽調部隊支援贏得了時間。及至黃昏，第二十軍團援軍趕到，第五十二軍之七十五旅也及時趕回，關麟征迅速指揮這些生力軍對日軍進行反攻，把日軍阪垣第五師團沂州支隊包圍在愛曲村一帶。日軍倉皇應戰，傷亡眾多，該支隊的騎兵被關麟征部全部消滅於傅莊，沂州支隊殘敵逃竄。由於關麟征臨危不亂，沉著鎮靜，大膽採取各種手段排除險情，使第五十二軍指揮部安然無恙。
4月1、2日，關麟征率部乘勝向盤踞在蘭陵、洪山一帶的日軍進擊，殲滅日軍500多人，殘敵慌忙退卻，有力地支援了台兒莊城寨的正面防守戰。
4月5、6日，關麟征第五十二軍、王仲廉第八十五軍揮戈南指，加緊對包圍台兒莊的日軍進攻．白天槍炮轟擊，晚上縱火夜戰，使日軍日夜不寧，先後斃敵1000多人，並將台兒莊東面的甘露寺、楊樓、陶墩等據點收復。這一勝利，遂使台兒莊東北面所受的日軍威脅全部解除。
4月6日，第五十二軍、第八十五軍已從台兒莊北面包圍了日軍。第三集團軍曹福林部從微山湖方面形成了對台兒莊西北面的包圍，防守台兒莊城寨的池峰城第三十一師不僅收復了曾一度被日軍占領的城寨，而且還主動出擊。這樣，遂使進攻台兒莊的日軍完全陷入了國軍的反包圍之中，再加上日軍後方交通中斷，糧食彈藥無法補充，戰鬥持續兩周，傷亡慘重，軍無鬥志。眼見反攻的時機已經成熟，李宗仁遂於4月6日晚8時下令全線反攻，第二十—師和第二集團軍在台兒莊清掃殘敵，第五十二軍、第八十五軍等在外圍圍殲敵人，並跟蹤追擊。日軍倉皇逃遁，國軍終於在台兒莊會戰中獲得輝煌的勝利，共殲滅日軍達2萬多人。
關麟征將軍因台兒莊作戰有功，升任國軍第三十二軍團軍團長。當時，在黃埔軍校畢業生中任軍團長的僅胡宗南和關麟征兩人。在台兒莊會戰中與關麟征較量過的板垣征四郎曾敬佩的說：「關麟征一個軍應視普通支那軍十個軍。」國內輿論界對在台兒莊會戰中擔任防守任務的孫連仲和負責進攻的關麟征冠以「孫鋼頭」和「關鐵拳」之美譽。這1938年夏天，蔣介石在武漢珞珈山舉辦的軍官團的一次講演會上說：「中國軍隊如果都象第五十二軍那樣作戰堅強，打敗日本軍隊是不成問題的。」
徐州會戰結束後，關麟征第三十二軍團經徐州以北向歸德撤退。關軍行至豫皖兩省交界處碭山與楊集之間，欲通過一座橋時遇到了困難。因為橋西已被日軍占領，日軍用八挺重機槍封鎖橋上通道。第五十二軍幾次組織兵力衝鋒都未能突破日軍封鎖線。關麟征勃然大怒，遂將從蒙古定遠營中得來的良馬16匹集中起來，並挑選勇敢機智計程車兵駕馭，他一馬當先，率領戰騎突然向西面橋頭飛馳而去，橋頭日軍的機槍尚未開火，16匹戰騎已經衝到，機槍手倉皇失措，棄槍而逃，第五十二軍後續部隊全部衝過橋去，到達歸德。關麟征將軍勇猛戰鬥的佳話之後迅速傳遍了國軍軍界。
武漢會戰開始時，關麟征將軍率第三十二軍團來到江西、湖北參加武漢會戰。當時日軍岡村寧次第十一軍所屬第九師團進攻贛北、鄂東南一帶。8月，第三十二軍團奉命開赴瑞昌、陽新的磨山、亭子山、蛤蟆洞一帶布防，阻擊日軍的進攻。關麟征將軍針對實際情況，進行分析：日軍武器占優，火力較猛；關軍則值徐州會戰之後，有作戰經驗的中下級軍官和老兵傷亡較多，新補充的兵員又訓練不足，缺乏作戰經驗；但湘鄂山區山高林密，有利於防守。為此，關麟征命令官兵依山地形勢在每個山頭修築工事，眾多山頭之間組成一個棋盤陣地，若一個山頭受日軍攻擊，其他山頭的部隊可以立即配合出擊殲滅日軍。他又命令以營為單位，採取循環輪換的方法守衛山頭工事，每營官兵每次守衛山頭以24小時為一班。他的這種防守戰術，既加強了士兵作戰的責任感，又能使部隊輪流休整，從而增強了戰鬥力。所以在日軍進攻關麟征將軍第三十二軍團防守陣地的19天中，寸土未得，遺屍累累，士氣低落。日方廣播電台曾說：「我皇軍在瑞昌附近，遭遇最強勁之敵。」
1939年9月，關麟征將軍升任國軍第十五集團軍副總司令，奉命代第九戰區司令長官薛岳行使總司令職權，指揮張耀明第五十二軍、陳沛第三十七軍、夏楚中第七十九軍和一個游擊縱隊參加第一次長沙會戰，迎擊進犯湘北的日軍。這次會戰是關麟征抗戰時期參加的第三次著名戰役。
9月18日，日軍第六師團與奈良支隊從岳陽沿粵漢鐵路南下，向新牆河北岸發起進攻。關麟征指揮第十五集團軍憑藉新牆河陣地工事及河流湖泊等自然屏障進行頑強的擊，逐次抵抗，消耗敵人。廣大國軍官兵奮不顧身，前仆後繼，英勇抗擊日軍。在雷公山草鞋嶺防守的第五十二軍一九五師史思華營，在奈良支隊步兵、炮兵、戰車、飛機的瘋狂進攻之下，死守陣地，打退了日軍的一次又一次進攻。當全營傷亡過半之際，一九五師師長覃異之電令史思華：「如無法支持，不得已時可向東靠」。史營長斬釘截鐵地回答說：「軍人沒有不得已的時候」，史思華營堅守陣地五晝夜，最後全營官兵壯烈犧牲。
9月23日凌晨，日軍第六師團在稻葉四郎中將親自指揮下，用八十多門大炮向關麟征手下大將張耀明率領的第五十二軍的新牆河陣地猛烈轟擊，隨後日軍步兵在七步塘附近強渡新牆河。當日軍行進到河中央時，國軍所有輕重武器一齊開火，日軍象割草般的倒在水裡，聯隊長山村治雄大佐也斃命，日軍退了回去。隨後，日軍的十多架轟炸機飛臨新牆河上空，對國軍陣地狂轟濫炸。之後，日軍開始了第二次強渡，國軍從被炸毀的工事中重新奮起阻擊，又將日軍擊退。日軍八次渡河強攻都慘敗而回，稻葉四郎中將氣極敗壞，下令大量施放毒氣，毒氣順風向越過新牆河飄到國軍陣地上，國軍只能用爛布等防禦日軍的毒氣，死傷甚多，被迫撤退。
在部隊後撤過程中，關麟征將軍又奉令指揮彭位仁七十三軍、李覺七十軍、歐震第四軍。這樣，關麟征指揮的部隊達到6個軍，再加上地方部隊共計20多萬人。這麼多的部隊，如果在撤退過程中爭先恐後，極易成為烏合之眾，若日軍乘機追擊，就會造成嚴重的後果。針對這種情況，關麟征將軍規定兩個辦法：一是軍部在轉進前，軍長必須與他通話後轉進（時間掌握，師、團長同），部隊到達宿營地後，即以無線電與他報備，轉進前他派總部人員先至各軍師宿營地，以檢查是否確實到達（地的掌握），按時報告。所以他對各軍、師的行軍宿營掌握得確確實實。由於關麟征將軍未雨綢繆，組織嚴密，措施具體，一支龐大的軍隊，在後撤過程中，部隊各級長官走在最後，井然有序。隨軍記者認為，國軍大部隊能這樣有條不紊地撤退，這是抗戰中少見的，他們對關麟征統帥大軍的才能深為敬佩。
10月2日，當部隊退至長沙以北的金井、路口畲、永安市、撈刀河等地時，前方傳來營田、汨羅江等地日軍傷亡很大，向北逃竄的消息，關麟征將軍根據日軍的這一動向，命令部隊反攻追擊。第三十七軍由汨羅渡河向鐵路正面攻擊日軍；第五十二軍出乎江附近向日軍進攻；第七十九軍向湘鄂公路方面的日軍側背攻擊；其他各軍和各地方部隊亦進行全面反攻。反攻時，關麟征將軍不但發電令，還派專人送筆記命令，要軍長親自簽收，使軍、師長不能推諉說：未收到命令而遲滯不前。攻擊開始時，關麟征怕作戰部隊遲滯不前，作戰不力，常輕裝簡行，突臨第一線營指揮所，親眼看到部隊攻擊進展，確實誰也騙不了他。關麟征的老部下常說：他具有神威就在此，好像所有官兵都在他撼制之下，不能不拚命作戰。
第十五集團軍各部猛烈反攻後，日軍狼奔豕突，全線潰退，向南江橋、新牆河方向逃竄。至l0月7日，日軍退至岳陽、臨湘、通城一帶。是役失陷的土地全部收復，第一次湘北會戰，以國軍勝利，日軍失敗而告終。
第一次長沙會戰--湘北大捷結束後，關麟征將軍因傑出的指揮才能被委任為國軍第十五集團軍總司令，成為黃埔軍校畢業生中擔任總司令的第一人，這一年他年僅三十四歲。戰後，國民極為振奮，海內外慰問函電如雪片般飛來，美國著名的「時代周刊」雜誌更是特地刊載了美聯社記者瓦恩特撰寫的戰地通訊-----「中國戰場巡視」，美譽關麟征將軍是「中國的巴頓」。
除此之外，史迪威將軍亦對關麟征多有讚美之詞，但關麟征將軍卻非常謙虛，當時，有人請關麟征講述湘北大捷經驗，關則說：「這是我全體將士與舉國民眾共同譜寫的一支凱歌，我只不過是一個聊備一格的音符而己。盛名之下，其實難副。國人偏愛，對我盛讚，午夜捫心，因受之有愧而輾轉不安。」
戰後，岡村寧次對軍部報告《關於迅速解決日華事變作戰方面的意見》中承認：「敵軍抗日勢力之中樞既不在於中國四億民眾，亦不在於政府要人之意志，更不在於包括若干地方雜牌軍在內之二百萬抗日敵軍，而只在於以蔣介石為中心、以黃埔軍官學校系統的青年軍官為主體的中央直系軍隊的抗日意志。只要該軍存在，迅速和平解決有如緣木求魚。」
1940年，關麟征將軍率部隊奉命調往廣西柳州休整。9月，日軍攻占越南後，切斷了蔣介石堅持抗戰的經濟命脈之一的滇越國際交通線，關麟征率軍開赴廣西西南部的天等、靖西一帶駐防。之後，關麟征部開往雲南文山，擔任滇越鐵路以東馬關、麻栗坡、西疇、富寧一帶的守備任務。關麟征自率部隊於1941年春進駐滇南，一直到1945年抗戰勝利，日軍始終未敢來犯，使滇南安寧無事，百姓安心從事生產，為1944年的滇西大會戰提供了後方保障。中國戰區參謀長兼中印緬戰區美軍司令史迪威將軍曾經高度評價關麟征說：「關將軍是一位真正的軍人，他很會打仗。現在有他鎮守滇越邊境，我斷定日軍是不敢來犯的。」
1944年，蔣介石將雲、桂、黔三省的國軍部隊統編為四個方面軍，以配合盟軍的戰略大反攻。1945年初，關麟征所轄部隊劃歸第一方面軍，關麟征將軍任副司令官。
未獲重用的國軍元帥
1945年8月，日本無條件投降，蔣介石任命關麟征將軍為東北九省保全司令長官，但由於種種原因未能成行。10月，關麟征出任雲南省警備司令。1946年7月，關麟征任陸軍軍官學校(原黃埔軍校)教育長。1947年10月，關麟征出任陸軍軍官學校校長，成為黃埔軍校畢業學生中任母校校長的第一人。
1948年8月，關麟征被任命為陸軍副總司令兼任軍校校長。1948年後期，蔣介石要他出任陸軍總司令，報紙已登載消息，關亦前往拜會參謀總長顧祝同，商討交接事宜，但是直屬中共總部的間諜劉斐及直屬華東中共敵工部的中共間諜郭汝槐，利用國防部來從中作梗，以「溪口電話手令遺失」為由而使之告吹。不久，南京又傳出醞釀關麟征出任京滬杭警備總司令，消息傳遍南京、上海軍政界，後來國防部又以「關麟征不懂上海話」為由而作罷。
1949年11月，在大陸淪陷前夕，關麟征一家人移居香港，從此深居簡出，過著「隱士」式的生活。
當蔣介石遷台以後，軍政界人事檢討大陸失陷的教訓時，關麟征將軍的部下曾說：「關將軍天賦將帥奇才，大陸戡亂之戰，未能有機一展抱負，挽救失敗於萬一。戡亂未開始，戴笠將軍亡於飛機失事，戡亂一開始，軍事上又未用關麟征，以致在短短三年時間內，大陸即告全部淪陷，這是國家民族不幸！而關將軍亦抱恨終天矣！」
也有人說：「若當年派關麟征去東北，則林彪死無葬身之地矣！」
對國軍在東北勘亂的作戰方法，不同的人指揮有不同的戰略思想，關麟征將軍的戰略思想確實非常獨特。
在東北三年的勘亂時期，時任黃埔軍校校長的關麟征將軍，曾經以視察幹部教育的身份蒞臨東北，某報的一位記者在訪問關將軍時問：「最初上級曾令將軍到東北，果爾，你將以何種決策，對付林匪？」關將軍回答說：「自始即集中優勢兵力，城有所不攻，地有所不略，惟一的是：徹底殲滅林匪羽毛未豐的有生力量，林彪竄到那裡，我就打到那裡。」
後來東北局勢惡化，關將軍又因公蒞臨，有人又問：「依目前情勢將軍復將何以決策乎？」關將軍又回答說：「現仍有十數個裝備優良的國軍，應立即放棄消極的『守點』現狀。如即行調整部署，集結兵力，以平津葫蘆島為後方，以錦州為前進據點，進可以攻，退可以守，裕如也，隨後相機反攻，亡羊補牢猶未為晚。
最後的歲月
關麟征在香港以讀書、寫字及教育子女為樂趣，生活極有規律，潔身自好，每日早睡早起，不吸菸，不喝酒，不打牌。對中國傳統文化中的「春秋」、「易經」、「戰國策」、「孫子兵法」等都有濃厚的興趣。
關麟征在香港的時候，中共搞統戰曾經對他不斷爭取，關麟征並沒有理會。
1980年7月30日凌晨，關麟征將軍因心臟病突發而昏迷，爾後被送進香港伊莉莎白醫院。在搶救過程當中，醫生和護士發現了老人胸前的累累傷疤，感到非常驚訝。當向家屬詢問的時候，才知道這位老人就是當年威震華夏的抗戰名將，那些傷疤是當年在古北口與日軍作戰時被手榴彈炸傷留下的，人們聽了除了肅然起敬外就是深深的震撼。
8月1日晚7點，一代名將關麟征因醫治無效病逝於香港伊莉莎白醫院，終年75歲。家屬稱：「將軍在離開這個世界的最後時刻，和平安祥，像睡著了一樣。」
關麟征舊宅位於英租界加的夫道，即現在和平區長沙路95號，由和平區房管局辦公使用。關麟征舊宅曾由其家眷常住，他也住過幾次。舊宅是一處磚木結構的英格蘭庭院式建築，占地面積1608平方米，建築面積2708平方米，有主樓、配樓、後樓各一幢。主樓朝西南，三層，立面一側為獨特的半圓形。樓內房間寬敞明亮，鋼窗、菲律賓木地板、實木門，室內天花板上有方形和圓形燈光灰線，裝修講究。一樓有客廳、飯廳、書房。佛堂位於一樓至二樓轉角處，窗朝東北，房間稍暗，有二十多平方米。二樓、三樓主要是臥室和書房，房間較大。配樓為紅磚清水牆，房間稍小，裝修一般。主樓和後樓之間有平台相連接，後樓的房間進身較小。該處舊宅院落寬敞，院內有草坪、花壇和魚池。現在，配樓因破舊已拆除，建起新穎的辦公樓。著作有《關麟征回憶錄》等。
生平簡述
1924年6月，考入黃埔軍校第一期。
1924年11月，任黃埔軍校教導1團2營5連2排排長。
1927年，任國民革命軍總司令部補充7團團長。
1928年7月，任11師31旅61團團長，後與師長陳誠鬧翻離職。
1930年，任張治中教導2師2旅旅長。
1933年1月1日，升任25師師長。
1935年4月13日，晉升陸軍少將。
1936年10月5日，晉升陸軍中將。
1937年8月，升任52軍軍長。
1938年6月，升任32軍團軍團長。
1939年1月，升任31集團軍副總司令。
1939年5月，調任15集團軍副總司令。
1939年10月，升任15集團軍總司令。
1945年3月，任陸軍第1方面軍副司令官。
1945年，升任東北保全司令長官。
1945年10月，調任雲南警備總司令，同年12月因昆明一二一慘案被撤職。
1946年，任中央軍校教育長。
1947年10月，任黃埔軍校校長，成為繼蔣介石之後第二任校長，是黃埔軍校在大陸期間三任校長之一，同時是第一位就任校長的黃埔生。
1948年8月，任陸軍副總司令。
1949年8月25日，任陸軍總司令。
1949年，離開大陸去香港，並未前往台灣；蓋關麟征認為台灣乃是時任台灣省主席陳誠之地盤，故不願赴台。不過在該年關曾以軍校校長的身份前往鳳山視察孫立人辦理的第四軍官訓練班。國民政府撤台後，曾多次電邀渠赴台，均被謝絕。
1975年蔣介石病逝台灣後，曾赴台弔唁。
