1947年底山西运城解放后，国民党军在晋南仅剩下临汾孤城，驻有太原“绥靖”公署所属第66师和西安“绥靖”公署所属第30旅（欠1个团）、第27旅炮兵营及6个保安团、2个补训团，连同附近4个专署、15个县的保安警备队等共2.5万余人，山西太原“绥靖”公署所属第6集团军副总司令兼晋南总指挥梁培璜统一指挥。临汾西靠汾河，东、南、北三面地形开阔，城垣坚固，城高15米，顶宽10米，底宽25～30米，且东关筑有外城，易守难攻。守军以城郊3～7公里内的村庄、据点为外围阵地，以城墙、环城外壕和城周31处碉堡群为主阵地，以环城内壕、街巷工事为核心阵地，构成大纵深的环形防御体系，企图固守待援。

1948年2月，晋冀鲁豫军区由第一副司令员徐向前统一指挥所部第8、第13纵队和太岳军区部队及晋绥军区部队一部共5.3万余人夺取临汾。针对该城设防坚固和攻城部队重火器少等情况，决定以坑道爆破为主要攻城手段。战役预定于3月10日发起。

3月6日，国民党西安“绥靖”公署因西北战场需要，开始将第30旅由临汾空运洛川。晋冀鲁豫军区前指为滞留该敌，配合西北野战军作战，决定提前发起战役。3月7日，第8纵队第24旅攻占城南飞机场，击毁运输机2架，打破了国民党军的空运计划。其余各部队由东、南、北三面对临汾发起攻击，扫除外围据点，挖掘破城坑道，创造攻城条件。至22日，相继拔除崔家疙瘩、火车站、高河店、尧官庙等外围据点，打退守军30余次反扑，逼近东关外城。23～27日，第13纵队两次攻击东关未克。4月1日，前指调整部署，以第8纵队第23旅和第13纵队第37旅分别由东关东北、东南两面攻击，同时加速坑道作业。10日，第23旅挖掘的4条坑道有3条同时爆破成功，炸开东关城墙。第23、第37旅迅速攻占东关，战至11日上午，歼守军第66师大部。

16日开始，攻城部队和守军之间展开了以挖掘坑道与破坏坑道为中心的激烈斗争。第8纵队和太岳军区部队在城东，第13纵队在城南，以地面攻击配合地下挖掘，克服土工作业缺氧、发出声响和不易掌握方向等一系列困难，共挖掘主坑道15条，掩护坑道40余条。守军则汲取东关失守的教训，进行以挖掘防御地道和实施爆破为主的反坑道作战；同时，在飞机和大炮的配合下，施放毒气弹、燃烧弹，并以第30旅出城反击。攻城部队挖掘的大部分坑道被破坏。5月1日，前指再次调整部署，将第13纵队主力调至城东，会同第8纵队主力攻城；第8纵队第22旅、第13纵队第39旅和太岳军区部队1个团调至城西汾河西岸阻击可能溃逃之敌。至16日，第8纵队第23旅在城东终于成功地把两条各长110米的破城坑道通过外壕底部挖至城墙下。为防再遭破坏，前指决定立即发起总攻。17日19时50分，两条分别装有黑色炸药6000千克和黄色炸药3500千克的坑道爆破成功，将城墙两处炸开各50余米宽的缺口，第23旅第69团突击队首先登城。其他部队随即在炮火掩护下也突入城内，并与守军展开激烈巷战。至24时，全歼守军，战役结束。

临汾战役历时72天，共毙伤俘国民党军2.5万余人，俘梁培璜。至此，晋南地区全部解放，吕梁、太岳两解放区连成一片。第8纵队第23旅战功卓著，晋冀鲁豫军区前指授予其“临汾旅”称号。