一、抗日铁军
第74军是1937年9月1日在浙江组建，由王耀武第51师（辖周志道151旅、李天霞153旅）和俞济时第58师（辖吴继光174旅、邱维达172旅）合编而成，俞济时任军长，冯圣法继任第58师师长。全军共8个团，2 .1万人。其中第58师炮兵营有6门105毫米榴弹炮，在当时可是相当具有威力的重炮了，曾在淞沪会战中大显神威。
俞济时是黄埔1期毕业，浙江奉化人，蒋介石的外甥，是标准的嫡系，历任蒋介石侍卫大队排长、连长，侍卫大队扩编为警卫团后任营长、团长，后任第6师31团团长、南京国民政府警卫司令兼警卫1旅旅长，警卫1旅扩编为第1师后任师长，后改任第58师师长，而74军的骨干就是58师。
74军成军不久就参加了淞沪会战，51师在罗店，58师在蕴藻滨，都是战线的关键之所，浴血奋战，尤其是51师无论在阵地防御还是在撤退中，均表现非常出色，当时有名的《申报》和《大公报》都曾报道过51师的英勇作战。
74军从淞沪战场撤出后，还来不及补充休整就投入南京保卫战，在湖熟镇、汤山镇、熟化镇等地与日军展开激战，多次击退日军进攻，南京沦陷后51师奉命突围，全师撤至浦口仅有4000人。
74军经过补充先后参加徐州、兰封会战，在兰封会战中74军重创日军第2师团。
1938年7月德安战役（又称万家岭战役）爆发，日军苦战两个月进展甚缓，为了尽快突破国军德安防线，日军第11军军长冈村宁次中将命令第106师团全力突破五台岭一线，然后向德安西南迂回穿插，协同正面攻击部队围歼德安一线约20个师的国军。
9月25日，第106师团突破五台岭，迅速向国军防线纵深推进。10月1日，106师团主力已进至万家岭一带地区，但在白云山遭到了国军第4军的顽强阻击。第九战区司令薛岳闻讯后立即果断决定调集重兵围歼孤军深入的第106师团！这一作战决心得到了蒋介石的支持。10月2日，第九战区调集12个师合击万家岭地区之敌，国军各部从各方向发起向心攻击。日军第106师团长淞浦淳六郎中将见形势危急，而正面进攻部队又无进展，便迅速放弃原定计划全力突围，突破口便选在了74军58师防区，58师以极其顽强的防御顶住了日军113联队在空军支援下的多次猛攻，但是58师也付出巨大代价，全师经过两天激战，仅存500人！眼看阵地难保，58师师长冯圣法连连向军长俞济时求援，此时俞济时手里也没有预备队，他只留下了一个班警卫军部，将军警卫营投入战斗，这才确保了阵地，粉碎了日军突围的企图。
10月7日，国军调整兵力，发起全线总攻。74军作为主攻部队奉命攻击日军在万家岭地区的核心阵地张古山，第51师多次猛攻均未得手，后305团团长张灵甫献计从山后偷袭，并亲率突击队从山后偏僻小道袭占张古山。74军攻占张古山，为突破日军106师团防线立下头功。10月9日，薛岳令各部组织敢死队作最后决死攻击，经过激战国军攻占万家岭、雷鸣鼓两处要地，当晚国军第4军的突击部队一度曾进至106师团指挥部仅百米处，淞浦组织师团指挥部所有人员准备迎战，连自己都拿起了枪。由于第4军没有确切情报，又是夜间，才没有发现日军，使淞浦得以侥幸逃脱。此役国军一举收复九江以南失地，日军第106师团几乎被全歼，死伤逾万，连师团长淞浦中将都险些被俘，战果之辉煌足以与平型关和台儿庄媲美。万家岭之战既无平型关八路军奇袭之利，又无昆仑关国军火力之优，全靠将士浴血苦战，战役中74军守得住攻得上，居功至伟。战役开始前，蒋介石曾两次电令将74军调至后方休整，都被薛岳拒绝，而74军的表现确实没让薛岳失望。战后著名作家田汉和任光曾以此战和张灵甫为原型编写了话剧和74军军歌。
军歌歌词如下：
起来，弟兄们，是时候了。我们向日本强盗反攻。他，强占我们国土，残杀妇女儿童。我们保卫过京沪，大战过开封，南浔线，显精忠，张古山，血染红。我们是人民的武力，抗日的先锋。人民的武力，抗日的先锋！
1939年6月俞济时升任第10集团军副司令兼86军军长，51师师长王耀武升任军长，74军下辖51师（李天霞）、57师（余程万）和58师（廖龄奇）。王耀武，1903年出生，原字佐才后改字佐民，山东泰安人，黄埔3期，历任排长、连长、营长、团长，在第四次围剿战中率部孤军死守宜黄24天，受到蒋介石的接见，并升任第1补充旅旅长，1934年11月率部与红军北上先遣队激战，将其主力击溃，红19师师长寻淮洲阵亡，红2师师长胡天陶被俘。后任51师师长，在淞沪战役中因指挥果敢得当而深受好评。
1941年3月，74军参加上高会战，上高位于江西锦江上游，俯瞰赣东平原。日军占领上高，既可相机拊长沙之背，又可得到进攻赣南的前进基地。日军采取分进合击战术，兵分三路，企图合围国军主力于高安、上高地区。但南北两路进攻均被击退，中路日军孤军深入，又遭到74军坚强抵抗，3月22日日军集中万余兵力在数十架飞机掩护下猛攻74军云头山、白茅山阵地，74军与日军反复争夺，先后7次与日军白刃肉搏，为友军赢得了集结的宝贵时间。因此中路日军不得不于3月24日黄昏在北路第215联队掩护下开始突围，但25日夜又被国军将突围与增援之敌再次包围，终将其大部歼灭。在全线出击中74军又作为先锋，乘胜追击，收复官桥，击毙日军日军第34师团长岩永少将。整个上高会战，日军第33师团遭到重创，第34师团及独立第20混成旅团伤亡更是高达70%以上，共毙伤日军1 .5万，被何应钦誉为 “开战以来最精彩之作战”。
此役74军被第19集团军司令罗卓英评价为“战斗力量坚强”！ 74军在战役中“拼死力拒，虽血肉横飞、伤亡惨重，仍不稍退，是日一日间敌我伤亡均在四千以上”，战功显赫，荣获国民政府第一号武功状和最高荣誉“飞虎旗”，被誉为抗日铁军。74军军长王耀武和第153旅旅长张灵甫旅表现优异，受到表彰。
上高会战之后，74军作为首批五个军之一换装苏式装备，得到115毫米榴弹炮4门，76毫米野炮8门，37毫米反坦克炮4门，7 .62毫米M1910水冷式马克西姆（即“俄国版的马克辛”）重机枪25挺，7 .62毫米M1910马克西姆．托加莱和M1928德克恰廖夫（简称为DP型，即常见的转盘机枪）轻机枪70挺。
1941年9月，日军发动第二次长沙会战，目标之一就是寻歼国军主力74军。战役开始后74军奉命开赴沙市街增援，结果被日军情报机关侦悉，日军立即提前发动攻击，集中两个师团夹击74军，74军猝不及防与日军激战两日，57、58师伤亡过半，遭到了巨大损失。尽管此战74军失利，但在与日军遭遇之初，74军在华春山一线仍颇有斩获，并以凌厉攻势一度迫使日军第3师团后退，也显示了中国王牌军的威风。
1943年11月常德会战中，74军57师8000人坚守常德城16天，顽强抗击了日军陆、空、坦的协同攻击，在日军猛烈炮火甚至释放毒气情况下仍死战不退，日军不得不围三阙一，放74军一条生路，此时全师不足600人只有师长余程万率180人突围，其余官兵自愿与常德共存亡，与突入城内的日军逐屋争夺，全部壮烈殉国。6天后余程万就随反击部队又杀回常德，收复常德。此役正逢美、中、英开罗首脑会议，罗斯福总统听取了蒋介石的战况介绍，特意将余师长的名字记在备忘录上。著名作家张恨水就根据常德之战写出一部名叫《虎贲英雄》的小说。常德人民为纪念74军为国捐躯的牺牲将士，自发募捐，于1944年3月在市青年路东侧修建占地达30000平方米的阵亡将士墓地，作为永远的纪念。
1944年1月军长王耀武升任24集团军司令，施中城接任军长。下辖51师（周志道）、57师（李琰）、58师（蔡仁杰）。
1945年5月，在雪峰山战役中，74军再次显示出抗日铁军的雄风，给予日军以重创，获得两面“飞虎旗”。
八年抗战中，74军几乎参加了所有正面战场上的重大战役，尤其是在德安、上高、常德三次战役中表现最为突出，以其英勇顽强的战斗意志，被誉为抗日铁军，连美军顾问团曾有过“中国只有74军能打”的赞誉。
1945年8月，日本投降，74军空运南京受降，并担任南京守备，因此被称为“御林军”。
二、内战先锋
1946年3月，74军改编为整编74师，全师3万余人，全副美械装备，师长张灵甫兼任南京警备司令，下辖整编51旅（陈传钧）、57旅（陈嘘云）、58旅（卢醒）。驻扎在南京孝陵卫，拱卫首都，被誉为天下第一师。张灵甫，1903年出生，原名锺麟，字灵甫，陕西西安人，1923年考入北京大学，后投笔从戎入胡景翼国民二军驻豫军官训练团。1925年南下广州考入黄埔军校四期，1926年升入黄埔四期步科，毕业后在嫡系第1师中历任排长、连长、营长、团长，1936年因枪杀妻子入狱，1937年抗战爆发后被释放，官复原职，戴罪立功，任74军51师153旅305团团长，在德安战役中因献计奇袭张古山而一举成名，后任153旅旅长、58师副师长、师长、74军副军长。并经蒋介石特批，成为陆军大学将官甲级班里唯一的少将。张灵甫在俞济时、王耀武的大力举荐下，才坐上这个被誉为五大主力之首的师长宝座，因此得罪了竞争对手李天霞，对此李一直耿耿于怀，日后的孟良崮李见死不救，就是原因之一。
全师装备计有12门105毫米榴弹炮（卡车牵引）、36门75毫米山炮（吉普车牵引）、108门105毫米迫击炮（骡马牵引）、108门81毫米迫击炮（骡马牵引）、108门37毫米战防炮（吉普车牵引）、486门60毫米迫击炮、255具火焰喷射器、324具M1“巴祖卡”火箭筒、324挺7 .62毫米勃郎宁M1917水冷式重机枪、1080挺7.62毫米1918A2轻机枪、2400支9毫米美制M1汤姆森冲锋枪和加拿大斯太令卡宾枪、4800支7 .62毫米M1903A1春田步枪，军官配9毫米勃郎宁M1911A1手枪。无线电报话机配备到连，共有机动车约300辆、骡马1000匹。
淮阴之战
1946年7月，国军集中58旅的重兵进攻华东解放区，其中主力31个旅进攻苏皖解放区，另27个旅进攻鲁南，牵制山东解放军。而整编74师作为主力中的主力负责主攻淮阴，淮阴是苏皖解放区首府，具有非常重要的军事、经济和政治意义，即使在解放军采取积极防御，不计较一城一地得失的战略下，也是属于不到万不得以绝不轻言放弃的要地。当时华东解放军主力有山东野战军（简称山野，陈毅指挥，共约7万余人）和华中野战军（简称华野，粟裕指挥，共约11万余人）。
7月淮南战局恶化，解放军除留第6旅16团和地方部队外，主力撤出淮南。9月，国军兵锋直指淮阴，第7军进攻泗阳，掩护74师侧翼；74师配属工兵第15团沿运河主攻淮阴；整编28师之192旅为预备队，在74师后跟进。此时华野主力正在苏中作战（即苏中七战七捷），山野主力则在沭阳以南。在国军发起攻势后，解放军以华野9纵在运河与洪泽湖之间设置三道防线，作为防御正面。
9月12日，经三天激战国军第7军突破9纵第一道防线。9月13日，第7军和74师同时展开攻击，于当日下午突破第二道防线，陈毅山野主力无法及时南下，只得急令2纵向淮阴开进，但沿途道路桥梁均遭破坏，无法及时赶到。陈毅只好急电粟裕：“……总之此次淮北作战，由于主观指导错误，贻误全局；五内俱焚，力图挽救，当尊重兄等建议。”粟裕见形势危急，急调第5、第13旅星夜北上驰援，粟裕亲率主力第1、第6师也随后北上增援。但是从海安到淮阴，多是水网地带，又逢大雨，道路泥泞，部队只能走水路，但一时间又没有足够的船只，一次只能渡1个旅，加上国军飞机的封锁，只能在夜间行动。华中主力赶到淮阴最快也得到20日。而事实上，19日胜负就已经定了。
9月14日，谭震林和张震在码头南岸开设前线指挥部，统一指挥淮阴地区作战。
9月15日，双方在淮阴外围杨庄、马头、小桥一线激战，9纵及第5、第13旅拼死抗击，尤其是从高邮兼程赶来的第13旅（即皮定钧旅），是参战各部队中战斗力最强的部队，对突破运河的74师连续实施了9次反冲锋，双方都付出了巨大代价。当晚74师攻占杨庄和码头，逼近淮阴。
16日，为确保淮阴，谭震林下令扒开运河大堤，放水迟滞74师的攻击。
17日，战况更为激烈，74师在炮火和飞机助战下，连续组织5次猛攻，解放军集中所有兵力火力全力抗击，但第一道防线仍被突破。
18日张灵甫亲临一线督战，并于午夜发起猛攻(敢于夜战的国军可没有几个)，74师派出2个连从9纵与5旅的结合部成功突破，根据俘虏供述的口令诈开淮阴南门，进城后立即抢占有利地形建立阵地，74师主力随即从正面猛攻。解放军5旅在敌前后夹击下，被迫放弃阵地，解放军组织皮旅和9纵预备队实施反击，也未奏效。华野主力刚到淮阴城北，立足未稳无法顶住74师的猛攻，被迫于19日撤出淮阴。74师继续南进，又于22日攻占淮安，至此，国军基本控制两淮，张灵甫获三等云麾勋章。两淮和华中解放区基本丧失，华野主力只得北撤山东，华东局势日趋严重，解放军在华东只剩下了山东解放区，对于兵力补充、后勤补给和部队回旋都造成了很大困难。特别是随着两淮的丧失，华中解放区最主要的经济来源运河税务失去了，华中主要的工商区也失去了，对南线作战负面影响很大。
解放军9纵根据此次战斗总结了整编74师的战术特点：“多采取正面佯攻，侧后迂回，或超越攻击。该敌系蒋军五大主力之一，部队骄横，攻击精神较顽强。善于集中使用兵力，先以集中炮火打我阵地一点，掩护步兵攻击，且善于使用小部队，以锥形渗入我侧背，错乱我部署，但不善于近战。”
解放军参战部队对于74师的评价是：“官兵素质在蒋军中算是比较好的，老兵占很多，军官、士兵甚至马夫都经过严格标准训练，战术指挥及技术动作均较正规熟练。装备精良，补给充足，两淮战后，该敌伤亡惨重，敢于大胆缩编建制，也不顾兵员缺额。其官兵对蒋甚为信仰，且骄横自大。”
一战涟水
国军攻占两淮后，稍加休整，于10月开始进攻涟水、益林地区。解放军在涟水外围集中了第1、6师、第9、10、11纵队共23个团的兵力，另以第5旅守涟水城。10月4日粟裕在涟水以北15里盐河北樊卜庄的前线指挥部里亲自召见了5旅15团团长李士怀，由15团担负城防。之所以选择15团，是因为在前2、3个月里，15团和74师在六合、天长、马坝、淮阴先后多次交锋，对74师的战术有所了解。
10月15日，15团接管城防，以第1营担任城南守备，这里是废黄河故道，视野开阔，最关键的南门渡口由第1营第2连第3排配属营直属60炮班（3门60炮）防御；第2营部署在位于盐河和废黄河之间的带河镇，构筑了3道野战工事，扼守通向涟水城的大路；第3营部署在城西关，其中第9连为团预备队。此外涟水、涟东两县成立了后勤司令部，由县长陈亚昌任司令，县委书记胡启奎任政委，组织民工2万多人支前。
10月19日，74师兵分三路，以宽正面向涟水攻击前进，东路57旅，由淮安经席桥、顺河集向茭菱镇前进；中路51旅由淮阴东马厂经钦工向涟水前进；西路58旅由王营沿盐河河堤攻击带河镇。
20日下午3点左右，74师先头部队与15团在汤庄遭遇，74师51旅前卫连遭到伏击，51旅在第二天中午才推进到涟水城南的废黄河南岸。
10月22日，74师集中全师炮火猛轰南门渡口，然后连续3次组织强渡废黄河，均被击退。74师毫不气馁，继续发动了第四次进攻，解放军南门渡口守军伤亡殆尽，终于被74师突破。解放军1营预备队和从茭菱赶来增援的5旅第13团迅速赶到，苦战之后封闭了缺口，74师也因伤亡惨重后继乏力而被迫退至废黄河边的沙滩上，重新收拢集结部队，在沙滩上建立了阵地，并冒着解放军的炮火搭建起了浮桥。同时，解放军也在废黄河的第二道大堤和城边构筑了新的工事。
74师在猛攻南门渡口时，还对带河镇和西关两地发动攻击，带河的进攻被15团2营击退，西关战况也相当激烈，3营伤亡很大一度形势危急，投入团预备队后才勉强守住阵地。同时在东路的74师57旅一部企图在茭菱镇附近强渡废黄河，也被解放军击退。一天的战斗下来，尽管解放军守住了阵地，但城防主力15团几乎死伤殆尽，才只经过一天的战斗一个主力团就基本丧失了战斗力，这在以前还从未曾有过。当晚15团因为实力大减被迫缩小防御正面，南门渡口至杂姓庄的阵地由13团和独立第5团接替。入夜后13团在城内西南角的妙通塔上建立了重机枪阵地，以火力控制了全城制高点。
10月23日，74师在5架B-24解放者轰炸机和7架P-51野马战斗机的空中掩护下，强渡废黄河，上午8点，解放军在74师强大压力下被迫放弃第一道大堤，退守第二道大堤，74师后续部队开始渡河，这时妙通塔上解放军的重机枪开火，用火力封锁了74师后续部队，但是解放军已无力组织反击，夺回桥头阵地，双方就这样僵持了一个白天。
入夜后，解放军5旅14团在旅长成钧带领下赶到涟水，立即发起反击，经过一夜激战，14团重新夺回了第一道大堤，将74师已过河的部队压缩到河边沙滩上。然后14团接替了独立第5团的阵地，这时沿废黄河从东向西的守备部队是：13团、14团、15团。
24日夜，在14团与敌人激战的同时，解放军神速插入74师背后，收复了顺河集和带河镇，切断了敌人的后路。
25日早晨，74师经过一天休整，直叩涟水城下，城关上下激战竟日，74师51旅主攻重点是14团阵地，战况殊为激烈，多次发生白刃战。14团1营400多人只剩下50多人，只好缩编为一个连，团里的勤杂人员也全部组织起来投入战斗。
下午，74师57旅170团投入战斗，该团以士官和老兵组成“敢死队”配备自动武器，经炮火准备后向南门阵地发起总攻，并在解放军14团3营阵地上取得突破，然后一鼓作气，接连冲过第二道、第三道大堤，其中有一个连甚至突入涟水城内。解放军5旅组织了所有部队坚守涟水城垣，从突破口两翼组织反击。就在此危急关头，解放军6师、10纵增援部队赶到，这两支生力军以一部加强防御，一部实施反击，才将74师击退，74师进入涟水城内的一个连也因被隔断了与主力的联系于当夜被歼。
26日，整编28师192旅和74师并肩发起攻击，双方在大堤附近展开了激烈的争夺，解放军主力第1、6师、第9纵队和第13旅相继投入战斗，74师经多日苦战，兵锋已疲，主力被迫撤回废黄河南岸。入夜，解放军兵分三路发起反击，2个小时便全歼黄河北岸74师57旅2个营。同时解放军一部在淮阴东20里处的老垛、新渡口一带渡过废黄河，并与收复顺河集的解放军一起击退在钦工、茭菱之间的敌人，歼灭74师58旅172团一个连和28师192旅一部。
27日早晨，解放军彻底肃清了废黄河以北的全部国军。当天解放军全线出击，第5旅配合6师从正面反击74军；皮旅、9纵继续攻击带河镇附近国军；1师、10纵从涟水东南越过废黄河，向钦工出击，配合正面作战。
30日晚，经过一夜激战，解放军收复了茭菱镇。
31日在茭菱镇西南，解放军歼灭28师192旅和74师57旅一部。
11月1日，整编28师192旅残部向淮安溃退，张灵甫预见到有被解放军合围的危险，于是收缩各部连夜退往淮阴东的马厂，至此第一次涟水保卫战结束。此战74师元气大伤，其不可战胜的神话从此被打破。根据新华社华中前线11月6日电讯：从10月19日至11月1日，共毙伤俘敌军9000余人，解放军自身伤亡也在6000以上，10纵司令谢祥军也在战斗中阵亡，这是华东解放军在解放战争中阵亡的职务最高的将领。
二战涟水
12月，国军卷土重来，投入整编74师和整编第28师第192旅以及新7军一部共5个旅，由74师师长张灵甫统一指挥。根据中央军委命令，华东解放军以27个团围攻鲁南临沂、郯城，另以24个团阻击华中北上之敌。担负涟水防御的是华野6师和淮南独立6旅。此次张灵甫吸取了教训，改变战术，12月3日首先以74师57旅和192旅向解放军6师17旅阵地作正面攻击，解放军沿涟水以南层层设防，4日占领解放军一线阵地。5日解放军6师分路出击，企图夺回失守的一线阵地，但均告失利。6日国军继续推进，解放军退守顺河集一带节节阻击。双方激战十日，解放军的注意力全部被吸引到涟水以南。
12月14日，张灵甫集中74师51旅、58旅和第7军一部共3个旅由王营、悦来直扑带河镇、大关，从西面攻击涟水，这支奇兵一举奏效，当天便突破了淮南独立6旅在带河的阵地，傍晚就已打到废黄河大堤。解放军这才察觉74师的主攻方向，从正面抽调6师16旅急返涟水，配合淮南独立6旅阻击敌人。
16日拂晓，74师集中全部炮火轰击涟水城，炮击一停，即以营、团发起集团冲击，而且一波连一波，前赴后继，经白刃肉搏于上午8时突破大堤进逼城垣，中午时分便攻入城里。接到涟水以西告急华野第6师奉命兼程回师增援，结果急行军35千米，在涟水城外2 .5千米处与已攻取涟水的74师接战，6师几次反击均被74师击退，6师伤亡超过5000人，被迫撤出战斗。据江渭清回忆，当时陈毅口头通知他代行司令员职务，将6师师长王必成撤职查办，押来野司。粟裕认为战役失利原因很多，不能只怪王必成一人，但作为主要前线指挥员，应该好好检查，建议留职检查。王必成只说了一句：“给什么样的处分，我都无怨言，只是希望日后打74师，绝对不要忘了6师！”粟裕立即将参谋长陈士渠召来，当面命令：以后凡我华东部队组织歼灭74师的战役，一定让6师参加，一定让王必成同志参加。并特别嘱咐将此命令记录在案，存档待查。——半年后，歼灭74师的孟良崮战役中，正是王必成指挥的6纵（原6师改编）从鲁南飞兵急进，夺占垛庄，切断74师退路。
二战涟水，74师终以出奇制胜攻占涟水，并给予粟裕华野三大主力之一的第6师重创，电影《红日》里开头讲的就是二战涟水。
由于两淮、涟水接连失利，苏皖解放区绝大部分地区被国军占领，华中野战军主力北撤山东，华东地区的主要战场已转到山东，在这种形势下，1947年1月山野、华野两野战军进行了整编，合并为华东野战军，共约27 .5万人。并于1月下旬在临沂附近召开师以上干部会议，史称鲁南会议，以统一思想。这样，解放区面积缩小，而部队和机关相对集中，加剧了解放区人民的负担，给以后的作战带来了新的困难。
孟良崮
1947年2月，国军撤消徐州、郑州绥靖公署，组建徐州司令部，由陆军总司令顾祝同亲自指挥，统一指挥对山东解放区的重点进攻。此时国军在山东地区的总兵力为24个整编师（军），60个旅（师），约45万人，占进攻各解放区总兵力的27%，重点进攻兵力的64%。以整编74师、第5军和整编第11师这三大王牌部队为骨干，组建三个机动兵团，担负主要突击作战，另以第2、第3绥靖区共7个整编师（军）担负守备和配合，采取“密集靠拢、加强联系、稳扎稳打、逐步推进”的战术，计划第一步打通津浦路徐州至济南段，占领鲁南；第二步主力继续推进至泰安、莱芜、新泰、沂水一线，迫使华东解放军与之决战或压迫解放军北渡黄河，占领整个山东。
3月下旬，国军开始全面攻击，至4月上旬，基本实现第一步计划，打通津浦路徐州至济南段，占领鲁南，随后继续向鲁中进击。其间解放军进行了高度机动回旋，以求调动敌人捕捉战机，并五次求歼来犯之敌的决心，除4月24日至26日在泰安歼灭整编72师主力（川军）外，均未实现。
5月3日，华东野战军决定以第6和第1纵队穿插至鲁南，第7纵队南下苏北，以调动分散敌人，创造战机。5月上旬中央军委指示：要诱敌深入，要有极大耐心，要掌握最大兵力在手，不要性急，不要分兵。据此，华东野战军决定原定插入敌后的第1、第7纵队停止南下，已经南下鲁南的第6纵队隐蔽潜伏待机，野战军主力撤至莱芜、新泰、蒙阴以东待机。
解放军主力东撤后，国军迅速跟进，于5月10日占领莱芜、蒙阴、河阳，顾祝同判断解放军主力正节节后退，国军主力应跟踪追剿，第1兵团向坦埠、沂水推进，第2兵团向博山、张店推进，第3兵团则集结于新泰、蒙阴，在第1、2兵团得手后发展进攻，实现第二步计划。
国军第1兵团司令汤恩伯被解放军行动所迷惑，一改稳扎稳打的战术，不待与友邻兵团协同，立即命令整编74师、25师为主攻，从垛庄、桃墟北进，限令12日攻占坦埠；第7军和整编48师各一部向沂水行动，主力集结于汤头、葛沟，策应主攻方向；整编83师一部向马牧池攻击，掩护主攻部队右翼，主力为兵团预备队；整编65师担负蒙阴地区防御。
5月10日夜，解放军发现第7军和整编48师有进攻沂水迹象，考虑该部位于第1兵团侧翼，比较孤立，决心集中主力实施围歼。
5月11日，国军各部按计划发起攻击，74师于当日攻占重山、艾山，25师攻占黄斗顶山；83师进至孤山以南；第7军向沂水方向推进。当晚解放军掌握了第1兵团行动计划，陈毅、粟裕认为歼灭74师更为有利，因为其一该师正位于解放军主力正面，不需要作较大的兵力调整即可形成5：1的兵力优势；其二74师虽为全美械装备，但受山区地形限制，重装备难以发挥作用；其三该部为嫡系精锐，素来骄横，与其他国军（如83师）矛盾很深，在解放军顽强阻击下不会全力援救，而且目前该师态势突出孤立，两翼空隙较大，易于被分割；其四正因为该部是国军精锐主力，战斗力强，一旦被歼将对国军造成实力和精神上的双重打击。退一步，即便不能将其全歼，给予重创也将大大挫伤国军锐气，振奋解放军士气。因此决定按照原计划正向东机动准备围歼第7军各部立即重返原地集结待命，12日下达围歼74师部署命令：第1、4、6、8、9共5个纵队担负围攻，其中第1、8纵队从74师两翼穿插迂回，第6纵队从鲁南兼程北上，断其退路，这3个纵队负责割裂74师与友邻联系，第4、9纵队从正面出击；第3、7、10纵队阻击国军第7军、第5军、整编48师和11师，第2纵队保障第8纵队侧翼安全，并策应第7纵队；特种兵纵队集结于沂水、下位之间；鲁南军区部队截断临沂至青驼寺公路，并以一部袭扰临沂，牵制国军。定于13日黄昏发起攻击。
5月12日，国军第1兵团继续推进，74师攻占黄鹿寨、三角山、杨家寨，25师占领旧寨，83师攻占野猪旺。
早在11日国军第1兵团司令汤恩伯命令整编83师派出1个旅（2个团）部队进至沂水西岸，掩护74师侧翼。但83师师长李天霞与张灵甫矛盾很深，他对此命令阴奉阳违，只派第19旅57团出动1个连携带报话机冒充旅部（有不少人把这一行动误以为是83师后来救援74师，特此更正），而且57团曾在苏中战役中被歼，是由新兵和收编的伪军刚刚重建，装备差士气低，战斗力最弱，李天霞这样做就是为了保存其主力。结果导致74师侧翼遭到解放军攻击，57旅一度与师主力被隔开。12日李天霞一面命令57团占领现阵地，并听从74师指挥，确保74师侧翼安全，一面又暗示57团团长罗文浪一旦发生战斗可以后撤。当晚57团就遭到解放军猛攻，损失过半，团长罗文浪想如果率部后撤，必成为李天霞的替罪羊，不如向74师靠拢，还有一线生机，便指挥余部于13日凌晨调头杀入包围圈，占领垛庄以东高地，向74师报到，与74师58旅172团并肩防守西南阵地。
5月13日，国军继续攻击前进，74师经激战攻占马山、迈逼山、大箭，距离坦埠已不到6公里。黄昏前后发现坦埠附近有解放军重兵，恐夜间遭袭，便除了在前沿要地留置少数部队警戒，主力收缩至杨家寨、马牧池、重山、艾山地区，准备次日拂晓总攻。而就在这两天里，解放军各部已完成了战役各项组织准备，并达到预定集结位置。
13日晚，第1、8纵队主力寻隙向敌纵深穿插，至14日上午，1纵以攻占曹庄、黄斗顶山、天马山等要点，割裂74师与25师的联系，并占领285和330高地，切断了连接垛庄的急造军路；8纵攻占桃花山、鼻子山，割裂了74师与83师的联系；6纵也连夜急进，于14日晨到达垛庄西南观上、白埠地区；正面之第4、9纵队连夜猛攻，夺取黄鹿寨、马牧池等地。面对解放军的夜间进攻，74师最初还以为是解放军的局部反击，仍在为次日进攻坦埠进行准备，当马牧池失守后，才发现情况不妙，决定查明情况再行定夺。14日上午10时，74师师长张灵甫得知天马山等要地均被攻占，而且垛庄附近也发现解放军，意识到解放军有围歼全师的企图，立即向垛庄南撤，并组织力量向1纵迂回部队发起反击。粟裕见其南撤，也随即指挥各部发起攻击，74师在解放军各部侧击、尾击下，只得于当晚退守芦山、孟良崮以北地区。
此时，解放军已基本完成战役设想，形成了对74师的围攻态势。但合围还不严密，外围国军距离也不远，近者还不到10千米，远的也不过50千米，凭74师的战斗力，如果内外合击，突围应不成问题，即使做不到全身而退，至少大部分主力还是可以保存下来的。但是蒋介石认为74师占据着制高点，享有地利之优，加上其强劲的战斗力，附近又有兵力雄厚的外围部队，正是与华东解放军主力决战的大好时机，于是命令74师坚决固守，吸引解放军主力，来个中心开花！有关电文如下：
“顾司令祝同兄北恩伯、灵甫兄勋鉴：今已得知灵甫之74师被围孟良崮，甚惊，又甚喜。其惊之因是灵甫被困，随时有危险发生。其喜之因是灵甫给我国军寻找了一个歼灭共军陈粟部于孟良崮的大好机会。因为我74师战斗力强、装备精良，且处于有利地形；再之，有恩伯、敬久、欧震三兄兵团大军云集，正是我国军同陈粟决战的好机会，现命令74师灵甫部坚守阵地、吸引共军主力，再调10个师之兵力增援74师，以图里应外合，中心开花，夹击共军，决战一场，歼陈粟大部或一部之兵力，一举改变华东战局。总之，一切均仰仗诸位精诚团结，协同作战，为党国大业献身出力，乃千秋之荣也。“同时严令新泰之整编11师、蒙阴之整编65师、桃墟之整编25师、青驼寺之整编83师、河阳之第7军和整编48师火速向74师靠拢，并急调第5军、整编64师、20师和9师兼程驰援，集中外线10个整编师（军）与解放军决战！74师副参谋长李运良力主坚守孟良崮，以置之死地而后生的精神配合外线友军与解放军决战，参谋长魏振钺认为此地孤山绝地，为兵家大忌，不宜坚守。师长张灵甫认为自己部队建制完整，战斗力又强，外围友邻相距又近，虽然弹药、粮食、饮水都很缺乏，但坚持一两天没有问题，而一两天足以实现中心开花的战役企图，正是建立殊勋的时候，因此立即调整部署，依托孟良崮等险要山头进行防御，同时要求空投粮、弹、水接济。
海拔600米的孟良崮是芦山山区的主峰，芦山山区位于蒙阴东南60千米，南北长约30千米，东西宽约40千米，孟良崮、万泉山、雕窝等山峰起伏相连，山势险峻，草木稀疏。74师决定依托孟良崮坚守后，将58旅部署在孟良崮、雕窝和芦山一线的核心区域，51旅防守西北的540、520和285高地，57旅防守北面的石旺崖、大碾，这些山峰全部是石头山，石质坚硬，无法构筑坚固工事，只好用石头垒成围墙，以山沟和石头缝隙为隐蔽所，并在山路上设置鹿砦和障碍物。但是12门105榴弹炮无法上山，只好抛弃在山下。
解放军也察觉国军正在组织庞大兵力来援，形势非常严峻，一面命令阻援部队坚决顶住外线国军，一面要求主攻部队不惜一切代价，以“在百万军中取上将首级”的胆略在外线国军到达前，消灭74师。
14日天黑后解放军发挥夜战优势，连夜组织连续攻击，经彻夜激战至15日拂晓，6纵在1纵协同下攻占关键要点垛庄（垛庄是74师的前进补给基地，储存有大量弹药和近百辆汽车，全数被6纵所获），8纵攻占万泉山，3个负责穿插割裂的纵队联成一气，正面的第4、9纵队也攻占唐家峪子、赵家城子一线，并一度攻占当阳、雕窝。至此5个主攻纵队打通相互联系，形成了对74师的合围，并构成了对83师和25师的防线；与此同时，解放军阻援部队10纵迫近莱芜；3纵到达新泰东南阻击整编11师；2纵在界湖地区压迫整编83师，并阻击第7军；7纵在河阳地区攻击第7军和整编48师侧翼；鲁南和滨海军区部队迫近临沂，威胁国军后方。粟裕在艾山脚下张林村的一个山洞里开设了前进指挥部，于当晚23时下令：明日拂晓3时发起总攻，以期尽可能于明日上午解决战斗！
15日激战全面展开，1纵除以4个团抗击25师的增援，其余部队全部投入对74师的攻击；4纵猛攻西北的540高地；9纵主攻西南制高点雕窝；在各阵地上，均展开了激烈的反复争夺。国军第1兵团的战斗详报这样描述：“匪军陆续增加，不断扑犯，枪炮如雨，火光冲天。战斗之惨烈，素所未见！万泉山失守后，匪即猛攻雕窝。同时东北麓之匪军蚁聚麋集，于其炽盛火力之下，逐波冲锋，势如潮涌。午间，垛庄方向匪之6纵沿西麓进犯，战况更为紧迫。午后至夜间，匪军更番迫近，我军抵死搏斗，反复冲杀，战斗殊为惨烈！”由于孟良崮山区全部是石头山，无法构筑工事，74师人员、马匹和物资全部暴露在解放军炮火之下，炮弹落地碎石头随着弹片四下迸飞，无形中大大增加了炮火杀伤威力，而且弹药、粮食、饮水俱无，国军空投物资一来因为74师占领地区狭小很多落在解放军阵地上，二来74师唯一的对空联络电台又在14日战斗中被毁，无法进行准确指引空投。74师官兵伤无医，饥无食，渴无水，仍不失王牌军的风范，丝毫未见溃乱，每一阵地都经过数次乃至数十次争夺，防御相反顽强，反冲击仍是相当凌厉，战况之激烈为解放战争以来所罕见。张灵甫预感到已处绝境，于当日下午决定突围，首先在飞机掩护下兵分两路向垛庄突围，被6纵击退，再向西突围又被1纵打退，继而向东，虽然夺回雕窝高地，但突围还是被9纵所阻。
战至黄昏，74师非但没能突围，而且因伤亡惨重被解放军乘势反攻，所占阵地相继失守，被压缩在孟良崮、芦山南北不到2千米、东西不到3千米狭小区域，只控制着几个山头，74师师部退到600高地的一个山洞里，汤恩伯通过报话机指示张灵甫向万泉山突围，以求与距离最近的83师会合，但74师此时已无力组织突击了。
孟良崮地区激战正酣，外线国军也在全力进击以解74师之围。上午10时起，整编25师以2个团的兵力向覆浮山、界牌、天马山一线猛攻，25师师长黄百韬确实尽了全力，而没有像其他国军那样保存实力，他指挥所部在炮火掩护下，以连营规模连续发起集团冲锋，战至午后，已连下覆浮山、界牌，只剩下天马山一处。担负该地阻击的是由1纵1师指挥的4个团，其中2个团还是刚由地方武装升级而来的新部队，下午16时许，4个团的守军几乎已经伤亡殆尽了，25师则攻到天马山的山腰，1师师长廖政国投入了最后1个连的预备队和师部警卫排，手里只剩下师部的警卫班了，而1纵主力此时正在阻击74师的突围根本无法抽兵支援，眼看天马山即将失守，而天马山之后就再无险可守！就在此危急之时，4纵10师28团一个营正巧路过，廖政国立即拦下这个营，将其投入天马山阵地，25师此时伤亡已经近万，这时就是增加一个连都会产生压倒性的优势，何况一个主力营呢，25师最后的攻击被击退，其援救功亏一篑。
与张灵甫有着矛盾，惯打滑头仗的83师师长李天霞此时也不敢怠慢，在坦克掩护下全力向桃花山一线猛攻，攻占鼻子山，距离74师仅5千米，但仍未突破8纵的最后阵地。
整编11师从新泰南下驰援，推进10多千米，3纵拼尽全力，白天阵地失守，夜晚组织反击，终于将其阻遏于蒙阴以北。
第7军和整编48师则受到7纵侧击，无法全力攻击，前进迟缓。
国军其他部队第5军已到新泰，64师到青驼寺。
全天，国军驻济南和徐州的第5大队27中队的P51、第1大队的B25和第3大队的P51，频频出动，倾尽全力空中掩护，由于战区狭小，双方战线又是犬牙交错，空中掩护很难奏效。
当晚22时，陈毅与主攻的几个纵队司令叶飞、许世友等通电话，通报了外线战况，指出如果不能在16日拂晓前拿下孟良崮，那华野全军就将陷入被敌合围的险境，因此必须不惜一切代价，务必在16日拂晓前拿下孟良崮，陈毅重申了追究失职者责任的“撤职、查办、杀头”的三大战场纪律！为了防止部队有保存实力之嫌，特意保证在战役结束后补足各部伤亡，打掉一千补一千，打掉二千补二千，这在解放战争中是绝无仅有的！据说，当时陈毅是这样说的：“叶飞啊,山东解放区的安危决定于能否在1天之内歼灭74师。你们要不惜代价尽快拿下孟良崮，哪怕拼掉2个纵队，也要完成任务。”“许司令吗？现在各路援敌节节逼近，打援、阻援的部队打得很艰苦、很顽强，聚歼74师，成败在此一举，我们能争取的时间已经不多，你们要尽快把孟良崮拿下来！” “蒋介石拼死和我们决战，把我们反包围了，情况十分严重。现在成败在此一举，要不惜一切代价吃掉74师，拿下孟良崮。你们打掉1千，我给你们补1千，打掉2千，我给你们补2千，那怕纵队打光了，只要把敌人消灭也在所不惜。我给你们补充，恢复你们的番号。谁攻上孟良崮，谁就是英雄！现在只有冲锋，后退就是死亡。”
随后粟裕下达总攻部署：9纵以6个团攻击520高地；4纵以6个团攻击540高地；8纵以4个团攻击芦山；6纵6个团和1纵7个团分别从南、西两面攻击，然后围攻孟良崮。总共投入29个团由1纵司令叶飞统一指挥，预定于16日凌晨1时开始总攻。
16日1时，解放军集中全部炮火猛轰74师阵地，由于74师人员猬集在狭小地区，又没有工事掩蔽，一发炮弹就能造成大量人员伤亡，战斗队形开始混乱，但当解放军攻击开始后，74师余部仍顽强迎战，与解放军拼刺刀拼手榴弹，很多阵地都是经过白刃肉搏之后才被攻占。天亮后，520高地和540高地接连失守。
8时，蒋介石亲自向外线援军下达手令：“山东共匪主力今向我倾巢出犯，此为我军歼灭共匪完成革命唯一之良机。凡我全体将士应竭尽全力，把握此一战机，万众一心，共同一致，密切联系，协力迈进，齐向当面共军猛攻，务期歼灭共匪，以告慰总理及阵亡将士在天之灵。如有萎靡犹豫，梭巡不前或赴援不力，中途停顿，以致友军危亡，致共匪漏网逃脱，定必以畏匪避战，纵匪害国延误战局，严究论罪不贷！希望奋勉勿误。”陆军总司令顾祝同、第1兵团司令汤恩伯也相继电令各部加速前进。在这种情况下，外线各部哪里还敢保存实力，无不全力赴援，距离74师最近的25师和83师，25师在前几天的战斗中大伤元气，已是强弩之末，再难有进展。83师李天霞知道现在可不是打滑头仗的关头，连预备队也投入了战斗，但在2纵、8纵顽强抗击下，直到当晚才占领孙祖、桃花山，可惜为时已晚。
外线阻援激战不休，孟良崮地区战斗也紧张进行，陈毅、粟裕对战况非常关心，几乎每隔5分钟就打电话向各主攻纵队询问，主攻各部也意识到情况紧急，奋力突击。中午前后，张灵甫用电台发出遗书：“十余万之匪，向我围攻数日，今弹尽援绝，水粮俱无，我决定与仁杰（74师副师长蔡仁杰）战至最后以一弹饮诀，上报国家领袖，下对部属袍泽。老父来京，未克亲侍，希善待之，幼子希善抚之，玉玲吾妻，今永诀矣。”
13时，8纵23师在6纵一部协同下，攻占芦山。随后解放军各部从多个方向向孟良崮、600高地展开攻击，战至15时许，攻占孟良崮和600高地。74师副师长蔡仁杰、58旅旅长卢醒阵亡，74师参谋长魏振钺、副参谋长李运良、51旅旅长陈传钧、57旅旅长陈嘘云被俘。关于74师师长张灵甫之死则是个谜，一直没有权威的结论，主要有以下三种说法：一是自杀，这是一个侥幸突围的74师副团长向国防部报告的，另有1位就在师部门口的74军连长回忆是张灵甫命令副官刘立智将张灵甫、蔡仁杰和卢醒打死的；二是击毙，张灵甫和警卫坚守师部所在山洞，解放军攻击时多人伤亡，只好投入手榴弹然后乱枪扫射将其击毙，这是5月30日陈毅、粟裕向中央报告的；三是被俘后被杀，4纵30团曾于16日报告华野司令部俘虏张灵甫，后又告失踪，据查押解途中6纵特务团副团长何凤山因自己部队伤亡很大，气愤不过将其枪杀。这一论点的根据是陈毅曾于5月29日在团以上干部会议就此进行过严肃批评，陈毅说：“此次对俘虏政策的破坏达到了相当严重的程度，对放下武器的自由杀害，各级干部不加责备，不追究责任。”此战由于74师顽强抵抗，解放军参战各部伤亡都相当严重，战斗结束后枪杀俘虏以报仇的事情屡屡发生，因此张灵甫被杀也在情理之中。粟裕在解放后接受《红日》的作者吴强采访时被讲到，张灵甫的致命伤口是汤姆森枪从左脑后打进，右下颚穿出（与张灵甫杀妻之弹道如出一辙）。而张灵甫身材高大，这样的弹道只有在他下蹲或弯腰姿态才有可能形成。——张灵甫的尸体被掩埋在沂水县野猪旺村后山冈上，解放军还在坟墓前树立一木牌，上书“张灵甫之墓”，以便其家属认领。蒋介石为其颁发第3号旌忠状，在南京玄武湖畔为其修建纪念碑（解放后被拆毁），将山东蒙阴县改名为灵甫县，并将英国援助的1艘驱逐舰命名为灵甫号。1949年国军退至台湾，建军人祠，张灵甫为“烈士”第一人。
14时许，战斗基本平息，各部正在打扫战场，华野指挥部电台监听到孟良崮地区还有国军电台活动，立即判断74师还有残部没有解决，粟裕随即严令各部清查毙伤俘虏战果，发现所报数字与74师编制数目尚有数千之差，马上命令各部加强搜索，果然在孟良崮、雕窝之间的山谷中发现约7000多人，这些官兵不开枪不走动，静静等待解放军撤走后与增援部队会合，大败之后还能如此，其战力之强军纪之严可见一斑！解放军先前曾发现过，但见其既没有开火也没有奔跑，以为是友军而未注意，解放军第4、8、9纵随即组织兜剿，这7000人枪膛里几乎都已没有了子弹，所以基本没有抵抗，很快就被全歼。
17时，孟良崮战斗彻底结束。这时电闪雷鸣暴雨如注，这场雨要是早下一天，或是半天，74师也就不至于饱受缺水之苦，不仅士兵可以再坚持作战，而且74师营团火力骨干是美制M1917重机枪，是水冷式的，必须要靠水冷却，由于孟良崮没水，74师很多重机枪都无法正常使用，其火力大受影响，似乎冥冥天意？
对于此役，国民党方面这样描述：“孟良崮为沂山余脉，高逾千仞，乃石岩光山，构工不易，峭壁深谷，运动尤难，目标暴露，形成弹巢。且弹落石飞，增大伤亡，但灵甫势逼此处，部队既无法展开，火力亦不能发挥。虽有驻徐州、济南、青岛等处飞机增援空投物质，然孟良崮山地险要，地域狭窄，空投无效，更致张灵甫部粮弹饮水奇乏，遂致以尸体作掩护，以便溺充饮渴……”
华野参谋长陈士榘将军这样描述：“敌人临时占领的阵地均为岩石，无法构筑工事，人员、马匹、辎重等完全暴露在我军强大火力之下。敌人空投的粮弹也多半落在其阵地之外，为我军所获。敌饥无食、渴无水，内无粮草，外无援兵，士无斗志，军心动摇，乱成一团。我攻击部队集中强大炮火，向敌群猛烈轰击。只见山上一片火海，血肉横飞。74师人马东躲西藏、互相践踏、争相逃命，战斗队形完全混乱……”
接到战斗彻底结束的报告，陈毅、粟裕都如释重负，陈毅后来坦言：“打张灵甫这三天，我的脑子简直要被压碎了！以后儿子长大了，不能让他带兵，这不是人干的。”其压力之大，可想而知。
原来解放军还计划在歼灭74师后再扩张战果，攻击83师或25师，但一来部队经过多日苦战，已相当疲乏，又没有预备队；二来国军几支部队都已经相互靠拢，队形密集难以分割，因此16日深夜，粟裕下令各部脱离战场，撤至坦埠、马牧池以北地区休整。
此役，解放军歼灭整编74师和整编83师19旅57团，毙伤敌1.3万人，俘虏1 .9万人，合计3.2万人，缴获山、野炮28门，步兵炮和战防炮14门，迫击炮235门，轻重机枪987挺，长短枪9828支，火箭筒43具。解放军阵亡2043人，伤9300人（不包括阻援伤亡），几乎相当于74师伤亡数。损耗迫击炮6门，轻重机枪153挺，长短枪531支，消耗炮弹3 .3万发，子弹199万发，手榴弹2.9万枚。作战地区为老解放区，不仅实行了坚壁清野，还出动7 .6万随军民工，15.4万二线民工，69万临时民工，运送弹药、粮食和伤员，为战役胜利作出巨大贡献。
74师在孟良崮的失败，究其原因，主要是：第一是地形不利，山区不利于重装备部队行动，74师无法将105毫米榴弹炮拉上山就是明证，而且孟良崮是石头山，既无法构筑工事，又没有水源，是标准的绝地；第二是轻敌冒进，认为解放军没有力量吃掉74师这样的王牌，即便在这样的绝地坚持一两天也没有问题（确实，74师坚持了3天），如果在14日就坚决组织突围，应该能突出包围；第三情报不力，对于鲁南地区有解放军6纵活动的情报，也未加以重视与核实，结果正是该部袭占垛庄，切断74师南撤之路。
有人说，孟良崮之战的失利，是张灵甫有勇无谋，把好一支王牌军带上了绝境，也有人说，孟良崮战役对于国军是个机会，但是需要作出牺牲，张灵甫毅然以单骑闯阵、匹马斫营的勇气争取这样一个机会，那是慷然赴死的无畏气概。
国军战后召开军事检讨会议，25师师长黄百韬自知难过此关，便主动承担责任，顾祝同、汤恩伯均表示张灵甫骄傲自大轻敌冒进才是主要原因，况且25师在后来救援作战中确实相当卖力，伤亡逾万，因此黄受到撤职留任的处分。汤恩伯因指挥不力被免去兵团司令。83师师长李天霞一开始就有意保存实力，没能有效掩护74师侧翼，念在74师被围后还算积极救援，免于一死，但被撤职送交军事法庭，后靠其家人花费巨资（据说是花了十多条金条）上下打点，才逃脱牢狱之灾，于一年后复出，任73军军长。
附：
双方作战序列：
解放军
华东野战军：司令员兼政委陈毅、副司令员粟裕、副政委谭震林
一、攻击集团：
1纵（叶飞）：第1师（廖政国）、第2师（刘飞）、第3师（刘亨云）、独立师（即皮旅，方升普）
4纵（陶勇）：第10师（张震东）、第11师（谭知耕）、第12师（彭德清）
6纵（王必成）：第16师（张云龙）、第17师（梁金华）、第18师（饶守坤）
8纵（王建安）：第22师（孙继先）、第23师（陈宏）、第24师（周长胜）
9纵（许世友）：第25师（聂凤智）、第26师（刘涌）、第27师（孙瑞夫）
二、阻援集团：
2纵（韦国清）：第4师（朱绍清）、第5师（姚运良）、第6师（滕海清）
3纵（何以祥）：第7师（贺健）、第8师（王吉文）、第9师（郭廷万）
7纵（成钧）：第19师（熊应堂）、第20师（殷绍礼）、第21师（谢锐）
10纵（宋时轮）：第28师（王德贵）、第29师（肖锋）
三、特种兵纵队（陈锐霆）：榴炮团、野炮团
注：攻击集团中1、6、8纵均以三分之一至三分之二兵力担任阻援。
国军：
徐州司令部（顾祝同）
第1兵团（汤恩伯）
第1纵队（黄百韬）
整编25师（黄百韬）：第40旅（陈章）、第108旅（杨廷宴）、第148旅（廖敬安）
整编83师（李天霞）：第19旅（杨萌）、第63旅（徐志勖）
整编74师（张灵甫）：第51旅（陈传钧）、第57旅（陈嘘云）、第58旅（卢醒）
第2纵队（李良荣）
整编65师（李振）：第154旅（张一中）、第160旅（温淑海）、第187旅（李明）
整编第28师（李良荣）：第52旅（葛先才）、第80旅（李万斌）（未直接参战）
整编第57师（段茂霖）：第117旅（罗觉元）、预4旅（龙云骧）（未直接参战）
第3纵队（张淦）
整编48师（谭何易）：第138旅（李英俊）、第174旅（王景宋）、第176旅（秦靖）
第7军（钟纪）：第171师（刘昉）、第172师（朱乃瑞）
其他兵团参战部队：
整编64师（黄国梁）：第131旅（张其中）、第156旅（刘镇湘）、第159旅（韦德）
整编20师（杨干才）：第133旅（周熙翰）、第134旅（伍重严）
整编11师（胡琏）：第11旅（杨伯涛）、第18旅（覃异之）、第118旅（王元直）
整编9师（王凌云））：预2旅（杨宝谷）、第9旅（陈克非）、第76旅（刘平）
第5军（邱清泉）：第45师（廖慷）、第96师（黄翔）、第200师（熊笑三）
重建74军
1947年夏，国军在74师未参加孟良崮之战的3个新兵教导团和1个榴弹炮营的基础上，加上该师归队的伤愈官兵，再补充新兵（最大一批补充兵员是广东航空警备旅），重建整编74师，师长邱维达，下辖第51旅（旅长王梦庚）、第57旅（旅长程有秋）和第58旅（旅长罗幸理）。邱维达，1906年出生，湖南平江人，字力行，号青白。黄埔军校第四期步兵科、陆军大学第六期特别班毕业。
历任国民革命军1军1师排长、4军教导团10连连长、46军54团连长、1师5团副营长、独立32旅694团营长、92师694团副团长、补充1旅参谋主任、99师295旅590团副团长、51师153旅306团团长。抗战爆发后任51师515旅副旅长、58师183旅旅长、57师副师长、14集团军参谋长、4方面军参谋长、74军51师师长。孟良崮战役时任台枣警备司令，所以没有参加，因他是74军的“老人”，便由他来负责重建，此时的74师，80%是新兵，装备也是日式和美式混杂。1947年11月，解放军释放了一批国军被俘的连、营、团级军官，其中一些老74师的一些军官又被派到新74师，而且多数官升一级，这些军官将老74军的训练和传统沿袭下来，加上还有一些老兵，可以说还有一些74师的骨干，所以新74师战斗力虽然与老74师还是有一定距离的，但比一般的国军要强。
经过半年多的紧张训练，整编74师于1948年1月列入徐州陆军总部序列，并于1月底开赴安徽阜阳、蒙城。从2月开始，便与当地解放军地方武装发生过多次战斗，使部队得到了实战经验。
初战阜阳
1948年3月底，刚转出大别山的中原野战军集中第1、2、3、6和11纵队以及华东野战军第10纵队，对阜阳发起攻击，因为阜阳守军比较孤立，同时打下阜阳可以为当时计划粟裕率3个纵队南渡长江扫清侧翼。阜阳当时是国军第14绥靖区公署所在地，但是守城的只有整编74师58旅，约9000人，得知解放军逼近后，立即进入临战状态，连夜抢修城防工事，加紧构筑工事，并在西南城墙上设置山炮阵地，市内拐角楼到大东门的城墙上设置迫击炮阵地。四门主要街道上各修筑了两座钢筋水泥碉堡，密布铁丝网和障碍物。国民党第14绥靖区公署设在城隍庙，58旅旅部在马公祠，国军决心死守阜阳，必要时放弃南半城，死守北半城。
解放军以1纵为主攻，第一步以第2旅攻击南关，第20旅攻击东关，然后第1旅攻击城垣。11纵则在北关助攻。
3月29日晚，1纵20旅59团在阜阳外围东三里湾歼灭守军1个连，随即59团派出3营4连担任警戒，全团在东三里湾休息备战。由于战斗很顺利，59团比较大意，第二天中午，国军222团1个营突然发起攻击，4连伤亡过半，59团在国军猛烈冲击下被迫退出东三里湾，59团民运股长吴明也在战斗中被俘，前天战斗中的国军俘虏也被尽数抢回。59团退出东三里湾后立即重新组织力量，发起反击，同时11纵也赶到助战，这才将反击的国军消灭，把吴明又夺回来。
3月30日晚，20旅58团派出尖刀连大胆穿插，一举占领了东关与阜阳城东门之间的吊桥，切断了两处国军的联系。随后58团主力跟进，占领了东关部分地段，但是58团在冲击途中遭到国军猛烈火力拦阻，伤亡很大，其中穿插的尖刀连只剩下一个班，无奈之下只好撤出东关。59团派出1个营前来增援，经过数小时激战，这个营也伤亡过半，同时国军组织1个排的突击队以火焰喷射器开路，猛攻58团在东关的出发阵地，危急之中，20旅旅长吴忠果断决定以攻对攻，下令58团全线出击，58团投入全部力量发起冲锋，这才击退国军反击并乘势占领东关。当夜，双方在东关外南北两侧彻夜激战，解放军在重机枪掩护下，接近吊桥西部的两座碉堡，使用炸药包将其爆破，随即攻进东关，不久守城国军反攻，夺回了碉堡，用机枪火力阻击解放军后续部队，并以反冲击将攻入的解放军压出城外。随后解放军接连发起2次进攻，终因后续部队跟不上而功亏一篑。据解放军58团团长战后回忆，阜阳之战是该团在解放战争中伤亡最惨重的一次战斗，全团伤亡600余人，只毙、伤、俘敌300余人。
东关战斗中，国军设在阜阳城文峰塔上的炮兵观察所，居高临下不断指挥炮火轰击东关和东三里湾的解放军，给解放军造成很大伤亡。1纵司令员杨勇命令第2旅尽快占领该塔，2旅4团团长晋士林亲临一线指挥，爆破手将炸药送到塔下，不料该塔结构坚固爆炸后居然没有倒塌，可是塔上的国军被吓坏了，不敢再战缴械投降。
东关激战之时，国军孤悬在城外颖河东岸七里铺的1个营在222团团长蔡鄂亚率领下，猛冲猛打竟从南关东侧解放军第2旅和第20旅的结合部，杀开缺口突入城内，颇有老74师的风采，令解放军吃惊不小。但这个营伤亡过半，团长蔡鄂亚也几处负伤。
3月31日，伤亡惨重的20旅撤出战斗，由第1旅代替进攻。同时11纵占领北关准备攻城，国军竟然组织力量反攻，把解放军准备攻城的主攻团击溃，其战斗力不容小视。
58旅全力坚守了6天，邱维达率74师主力迅速自蒙城增援，整编第5师（即第5军）之96旅、21旅也赶到蒙城，在邱维达统一指挥下一同赴援，同时调集胡琏兵团和张轸兵团分别前往增援，准备围歼攻城解放军。4月3日解放军见国军有20个旅的援军正在陆续赶来，短时间里又无法攻占阜阳，便只得放弃攻城，分路撤出战斗。蒋介石和顾祝同均发电嘉奖，一致认为74师重建后初试锋芒就能有此战绩，说明其战斗力已经大有长进，可堪一用。
豫东战役和济南战役
1948年5月，74师之57旅调归整编32师（也是被歼后重建的师，师长就是74军老军长施中诚）。
1948年6月底，解放军发起豫东战役。战役第三阶段，解放军对帝丘店地区黄百韬兵团组织围歼，74师奉命驰援，从阜阳、蒙城地区兼程急进，于7月5日进至宁陵以西，与中原野战军第11纵队接战，74师的迅速增援，有力策应了邱清泉、胡琏两主力兵团的增援，在多路国军迫近，而难以迅速解决黄百韬兵团的情况下，解放军被迫于7月6日晚撤出战斗，由于仓促撤出战斗，加之缺乏足够的运输工具，有近千伤员和一些缴获物资未及撤走，被国军所获。此役，74师作为援军的一路偏师，行止迅速，对主力的增援行动起到了积极的配合作用。
1948年9月，济南战役打响，国军防守济南的第2绥靖区司令王耀武飞赴南京求援，蒋介石考虑到王耀武是74军的老军长，便命令74师9月17日开始从徐州空运济南。但是空运才进行了一天，解放军就攻占了城西玉皇山、簸箕山等地，以炮火封锁了飞机场，仅仅空运了58旅172团的7个连就被迫终止。
这7个连后来被王耀武派往商埠，担任第2绥靖区司令部的守卫。9月20日，解放军猛攻商埠，22日开始攻击第2绥靖区司令部，74师凭借司令部坚固的钢筋水泥大楼（原为山东银行大楼，由德国人所建）和四周明碉暗堡组成的工事，负隅顽抗。此出的战斗相当激烈，被誉为济南战役中的“绞肉机”，解放军集中炮火猛轰，整幢大楼被炸得千创百孔，满目疮痍，几乎被炸成个躯壳架子，但74军的这7个连仍然拼死抵抗，子弹和手榴弹不断从窗口和弹孔里飞出，即便在解放军攻入楼内后仍与解放军逐楼、逐屋、逐层争夺，力战不降，解放军称之为“打死不缴枪”，这7个连即使在军官大半死伤的情况下，士兵也极少投降，秉承了老74军的顽强战斗意志，最后全部战死。解放军第3纵队第8师师长王吉文就在商埠战斗中身负重伤，不幸牺牲。
淮海战役
1948年9月，
