征南大将军羊祜镇守襄阳已久，兵强马壮。而襄阳与吴国接壤，吴主孙皓是孙权的长孙。此人粗暴淫逸，贪杯好色，大失民心。羊祜本想乘机攻打东吴，但吴国左丞相陆凯是个很难对付的忠臣良将，所以不敢轻易进军;现在陆凯去世了，又想伐吴，却遇到益州兵变，攻吴计划被再次耽搁下来。羊祜手下有个参军叫王濬，平息益州兵乱后，成为益州刺史，在军中已树立起一定威信。羊祜想和他共灭东吴，于是上表武帝。武帝便任命王濬为龙骧将军，监督梁益二州军事。
燕人徐邈有个秀外慧中的女儿待字闺中。王濬出守河东时，正是少年英才，深得徐邈赏识。他暗中让女儿在屏风后面观看前来辞行的王濬。女儿告诉母亲，这人日后必能成大器。于是徐邈将女儿嫁给了王濬。
再说王濬在长江上游打造战舰，准备伐吴，不免有木头随江流下。吴国的建平太守吾彦有所留意，猜到晋国必然在密谋攻打吴国，于是加强建平守备，堵塞长江要道。此时吴主正大兴土木，修建宫殿，并不顾及亡国之祸已在眼前。
羊祜为准备平吴，很早就开始招徕吴人，收买人心。吴国人对他心悦诚服。接着他又尝试收买吴国大司马陆抗，两人互有馈赠往来。不过陆抗赤胆忠心，忧国忧民，并不是卖主之人;可吴王却怀疑他被羊祜收买。陆抗因此而抑郁成疾，不久便与世长辞了。后来吴王任命陆抗的三个儿子统领部队，但并非合适人选，这又让吴国暗藏了一道危机。
机不可失。一直厉兵秣马，蓄势待发的羊祜便上表圣上，请求伐吴，不料却遭遇贾充、荀勖和冯紞三人的极力反对。其他大臣也附和说秦凉地区的问题还没有解决，不应该有东南战事。武帝一阵犹豫后，只好让羊祜暂缓进军。
不料在咸宁四年(公元278年)春，等待出征的羊祜生了场大病。武帝前往探视，羊祜仍然坚决表达出希望伐吴的决心，武帝便从了他。无奈天不遂人愿，不久羊祜就病得起不了身，于是推荐杜预为镇南大将军，都督荆州事务。在杜预还没离开都城的时候，羊祜就去世了，享年五十八岁。武帝凭吊时痛哭不已，追封他为太傅，赐谥号。襄阳百姓听闻羊祜去世都非常难过，纷纷立祠建碑，追念他的恩德。
由于西北之乱，晋朝一时没有顾及到东吴，吴主孙皓高枕无忧，夜夜笙歌，宴会群臣，还设置黄门郎十余人。黄门郎就好似今天的间谍，专门监视那些喝醉酒失言的官员。一旦被揪出来就施以酷刑，弄得生不如死，成为废人。已是益州刺史的王濬，察知东吴的情况后就上奏朝廷，希望能迅速出征。武帝召集群臣商议此事，贾充、荀勖等仍然极力反对，只有张华记得羊祜的话，赞成王濬的提议。一天，武帝和张华正在下棋，忽然从襄阳传来急报，署名是荆州都督杜预。大概意思也是希望能迅速伐吴，机不可失。武帝看了后，顺手递给张华。张华一看，便将棋盘推开作揖道：“陛下圣明，国富民强，而吴主骄奢淫逸，杀贤臣良将，早已失去人心了，此时正是天时地利人和，请不要再犹豫了。”武帝当即决定：“明日就发兵攻打东吴。”第二天早朝的时候，武帝命令立即大举进攻东吴，任命张华为计算支出的尚书。贾充听后忙上前劝阻，荀勖和冯歔也随声附和。武帝大怒斥责贾充，吓得其他二人忙磕头谢罪，丑态百出。武帝分别任命了各军统帅，并授予太尉贾充为大都督，总领各军。
进一步被封为龙骧将军的王濬等这一天已经很久了。他领命后火速率军乘舟东下，直抵丹阳，生擒吴国丹阳监盛纪。一鼓作气的王濬军队顺流而下，却被吴国建平太守吾彦设置于江中的铁索拦住了。不过这对早有准备的王濬来说并不是难题。他亲自研究了这里的地势情况后，便想出了破铁链阵的方法。第二天，他先派人做了十个大筏，上面绑满草人;接着让善水者在水中牵着大筏先行，遇到铁锥，就用火炬和麻油点火烧毁铁锁，船就没有了障碍。如此一来，军队便可长驱直下，不可抵挡。咸宁六年(公元280年)春天，王濬和广武将军唐彬率军到达东吴的要塞西陵，迅速攻下城池，再乘胜攻下荆门、夷道二城，生擒吴国监军陆晏和水军统领陆景。江东由此大震，吴平西将军施洪等也只有见机投降了。
镇南大将军杜预巧用计谋，将吴军打了个措手不及;晋安东将军王浑那边也大败吴军;还有胡奋、王濬和王戎，一并攻下夏口、武昌。晋军战船大举东下，所向无敌。可惜春季雨水疯长，贾充便乘机提议罢兵，其实无非嫉妒他人功高罢了。幸好武帝没有听从贾充的言语。杜预这厢仍直接带领各个统帅，挥军直至秣陵。
东吴派遣丞相张悌及督军沈莹等率军三万，渡江迎战。他们心知肚明，若是这一仗打败了，东吴就大势已去，于是个个奋勇迎战，但仍不敌骁勇善战的晋军，结果还是大败。晋将军王濬，听闻前方得胜的消息，便自武昌乘舟东下，直到建业(今南京)。
看来要灭吴国只是囊中取物了，但是这其中还出现了不少插曲。比如王濬初下建平的时候是受杜预管制的，而到建业时按规定又该受王浑管制。当时王濬到达西陵时，杜预命令他直接攻打秣陵。王濬随即顺流而下，将自动请降的吴国游击将军张象收纳，再直驱建业。王浑的特使邀请王濬去商议战事，而王濬却以风大不便停泊搪塞，王浑因此怀恨在心了。
这时吴主孙皓早已吓得无计可施。他心乱如麻，得知晋将王濬已经逼近都城，还有晋琅琊王司马伷从涂中进兵，马上就要抵达近郊了。眼看朝不保夕，孙皓不得已下令起草降书，给王濬送去，并向司马伷送交玺绶。王濬接到了降书，仍不罢休，仍率军攻入都城，将吴主孙皓遣入自己营中，以礼相待。
晋朝廷得到消息后，群臣纷纷前往祝贺武帝。武帝喜极而泣，说道：“这都是羊太傅的功劳啊!”
王浑和琅琊王司马伷会合后将孙皓送入晋都。武帝下旨给孙皓赐爵，所有东吴的官员都量才而为己用。