第74军是1937年9月1日在浙江组建，由王耀武第51师(辖周志道151旅、李天霞153旅)和俞济时第58师(辖吴继光174旅、邱维达172旅，该师系国民政府警卫1旅扩编而成，是74军的骨干)合编而成，俞济时任军长(俞济时是黄埔1期毕业，浙江奉化人，蒋介石的外甥)。全军共8个团，2.1万人。
74军成军不久就参加了淞沪会战，南京保卫战，多次与日军浴血撕杀，伤亡过半。经过补充74军先后参加徐州、兰封会战。在兰封会战中74军在罗王寨、三义寨、曲兴集攻坚战中与日军第14师团激战，毙伤日军益田兼英步兵中佐、森永澄雄步兵中佐等1000余人。
1938年7月德安战役(又称万家岭战役)爆发，74军第58师重创106师团第113联队，但是58师也付出巨大代价，10月7日，国军调整兵力，发起全线总攻。74军作为主攻部队奉命攻击日军在万家岭地区的核心阵地张古山，第51师多次猛攻均未得手，后有人献计(三国邓艾偷袭阴平)从山后偷袭，团长张灵甫并亲率突击队从山后偏僻小道袭占张古山。歼灭106师团所部步兵第111旅团第147联队第1大队鬼冢义淳所部，305团攻占张古山，为突破日军106师团防线立下头功。战役中74军守得住攻得上，居功至伟。战后著名作家田汉任光曾以此战和张该战为原型编写了话剧和74军军歌。军歌歌词如下：起来，弟兄们，是时候了。我们向日本强盗反攻。他，强占我们国土，残杀妇女儿童。我们保卫过京沪，大战过开封，南浔线，显精忠，张古山，血染红。我们是人民的武力，抗日的先锋。人民的武力，抗日的先锋!
此后，74军与友军围歼106师团，日军损失惨重，战斗的残状与日后在瓜达卡纳尔岛、新几内亚、因帕尔等南方战场上日军的惨状记录相类似。此战中幸存下来的日军辎重兵第106联队士兵那须良辅在战后仍然心有余悸地回忆道：“战友们大部都受伤，也有些因为饥饿和疲惫而倒下来。死在水沟的战友们，他们的脸色都变成茶色而浮肿，白花花的蛆虫从他们的鼻孔和嘴巴掉下来。一连几天都没吃东西，只能从漂浮着同伴尸体的水沟里舀脏水喝，活着的人也都快变成了鬼。我也觉得我的死期到了。对着十月的月亮，我放声大哭。”
此战，日军战死伤第145联队第1大队长寺川完步兵中佐、野炮兵第106联队第2大队长海老原毅炮兵中佐、第145联队第2大队长河井丰步兵中佐、第147联队第2大队长梅田治助步兵中佐、师团参谋成富成一步兵中佐、辎重兵中尉东鸥哲雄等10000余人，106师团几乎全灭。
1941年3月，74军参加上高会战，上高位于江西锦江上游，日军采取分进合击战术，兵分三路;33师团、第20旅团、34师团企图合围国军主力于高安、上高地区。但南北两路进攻均被击退，中路日军孤军深入，又遭到74军坚强抵抗，3月22日日军集中万余兵力在数十架飞机掩护下猛攻74军云头山、白茅山阵地，74军与日军反复争夺，先后7次与日军白刃肉搏，日军全线溃败，74军乘胜追击，收复官桥。此战，击毙214联队长浜田十之助大佐、击伤日军日军第34师团长岩永旺少将，师团参谋长樱井德太郎大佐兵败后逃回驻地自杀，整个上高会战共毙伤日军1.5万。此役74军战功显赫，荣获国民政府第一号武功状和最高荣誉“飞虎旗”，被誉为抗日铁军。74军军长王耀武和第153旅旅长张灵甫旅表现优异，受到表彰。
1943 年11月常德会战中，74军57师余程万部8000人坚守常德城16天，顽强抗击了日军陆、空、坦的协同攻击，在日军猛烈炮火甚至释放毒气情况下仍死战不退，日军不得不围三阙一，放74军一条生路，此时全师不足2000人，师长余程万率180人突围，其余官兵自愿与常德共存亡，与突入城内的日军逐屋争夺，死战不退。6天后余程万就随反击部队又杀回常德，收复常德。
战斗中，日军第116师团步兵第109联队联队长布上照一步兵大佐，第109联队第3大队大队长岛村长平步兵中佐、日军第3师团步兵第6联队联队长中田护一步兵大佐，均在常德会战中毙命，日军共伤亡2万余人。此役正逢美、中、英开罗首脑会议，罗斯福总统听取了蒋介石的战况介绍，特意将余师长的名字记在备忘录上。著名作家张恨水就根据常德之战写出一部名叫《虎贲英雄》的小说。常德人民为纪念74军为国捐躯的牺牲将士，自发募捐，于1944年3月在市青年路东侧修建占地达30000平方米的阵亡将士墓地，作为永远的纪念。
1945年5月，在雪峰山战役中，换装美械的74军再次显示出抗日铁军的雄风，给予日军以重创，获得两面“飞虎旗”。日军死伤小笠原七郎中佐、泷寺保三郎大佐、重光三马大佐、永里恒彦少佐、田丁由五郎大尉等28000余人。被俘的日军记载：厉害的重庆军，冲入阵地后，抓住了我们，上来就是几个耳光，打得满眼直冒金花，有时还拳打脚踢，还用枪托打人，打人最厉害的要算74军的58师;在把我们向后方押送时，在集中上汽车之前每人都被捆绑着双手并前后各人相连，经过村庄、城镇时，成群的男女、老幼。以愤怒的行为对待我们，真是狼狈不堪……
八年抗战中，74军几乎参加了所有正面战场上的重大战役，尤其是在德安、上高、常德三次战役中表现最为突出，以其英勇顽强的战斗意志，被誉为抗日铁军，美军顾问团曾有过“中国只有74军能打”的赞誉。1945年8月，日本投降，74军空运南京受降，并担任南京守备(整编为74师，张灵甫)部队，因此被称为“御林军”。