1946年6月，内战爆发，已经50岁的薛岳时任徐州“绥署”主任，开始了“反共、反人民”的战争，也正是这场内战使薛岳的军事生涯开始了下坡路，直到跌入人生的最低谷。起初薛岳还比较顺利，指挥所属部队向苏北、山东进攻，8月19日，参谋长陈诚和薛岳在徐州召开军事会议，商讨进攻淮阴的计划，会后国民党军兵分三路：中路李延年集团主攻淮阴，北路冯治安集团攻打台儿庄和鲁南，李默庵在苏中钳制粟裕。截止到8月底，薛岳部队消耗了解放军的大量兵力，并将解放军华中野战军主力牵制在了苏中地区，有效配合了国民党军在淮南和淮北的战斗。
但是在9月份的鲁南战役中，薛岳连连失利，丢了国民党军两个师。而更令蒋介石无法接受的是，他把蒋的家底、机械化部队第一快速纵队给报销了。于是，蒋介石非常生气，派参谋总长陈诚亲自坐镇徐州督战，实际上是剥夺了薛岳的兵权。不料，陈诚在徐州的表现比薛岳还要差，由于他和蒋介石的瞎指挥，第二绥靖区李仙洲集团在莱芜被解放军全歼。蒋介石亲自干预的战斗一败涂地，感觉很没有面子，而薛岳自然成了替罪羊。
1947年3月3日，蒋介石以“指挥无力，名声低落”的罪名撤了薛岳的职，换以稳重著称的顾祝同统一指挥徐州、郑州两个绥靖公署的部队。其实，在薛岳指挥失利的战斗中，战斗失败也不能全怪他，而是当时国民党军士气低落，没有战斗力，再加上解放军英勇奋战。这在粟裕得知薛岳被撤职后所说的话中可以得到证明：“薛岳用兵尚称机敏果断，而顾祝同则历来是我军手下败将，以庸才代替干才，在高级军事指挥人员上的更迭，正象征着国民党的日暮途穷，最后必然会走向崩溃。”之后国民党整编第74师在孟良崮上全军覆没，与此也并非没有关系。由此可以看出，当时薛岳部在后期战争中的失利表现是大势所趋，并非薛岳本人所能改变的，并非薛岳的指挥一无是处。
1947年5月，薛岳出任南京政府参军长，次年转任总统府参军长。1949年2月，调任广东省主席，在任期间，他积极整顿保安部队，对解放军粤赣湘边纵队进行了有效打击。1940年代末，在国民政府穷途末路的时候，蒋经国在上海整顿金融秩序，强迫市民把金银都兑换成金圆券，把上海市面搞得天翻地覆。当时桂系的黄绍竑问薛岳：“如果小蒋硬要你把金子去兑金圆券，你怎么样呢？”薛岳开口就骂：“丢那妈！我们辛辛苦苦搞了几十年，出生入死，才挣得这些金子，如果兑成了转眼一钱不值的金圆券，以后我们吃什么？他敢来，我就开机关枪打死他。”
1949年10月，解放军入粤，广东国民党军无力抵抗，薛岳只好逃到了海南。12月1日，薛岳任海南防卫总司令，统一指挥海南陆、海、空三军，阻止解放军解放海南。戎马半生的薛岳当然知道，海南守军战斗力不堪一击。1950年1月，薛岳飞赴台北面见蒋介石，要求撤出海南，但蒋介石以海南不战而弃损害台湾的民心士气为由，拒绝了他的请求。3月5日，解放军发起海南战役，海南守军兵无斗志，如薛岳所料一触即溃。4月22日，薛岳征得蒋介石同意后，命令所部撤退，1950年4月底，薛岳从海南岛飞往台湾，从此客居他乡。
国民党退往台湾后，蒋介石为了加强国民党的实力，维持一党专政和个人独裁，开始排除异己，培植自己的亲信势力，进行国民党军政权力转移。这是国民党继孙中山改组之后的第二次全局性权力调整，即以蒋介石为首的国民党第二代活动家开始把权力向以蒋经国、陈诚为首的第三代活动家过渡。蒋介石在大陆时期就有让蒋经国接班的想法，在军界大力培养黄埔系军官，培植三青团，大搞党团合并，以扩大蒋经国的势力，增强其在政治中的影响力。但黄埔系军官在反共战场上节节败退，尤其是三年内战使国民党军溃不成军，而蒋经国在中央政治学校成绩平平，上海“打老虎”也一再受阻，这些都使蒋介石丢尽了脸面。
在台湾，蒋介石进一步抓紧个人独裁统治，为儿子蒋经国的接班铺路。为了排除异己，他将溃败的国民党军队进行改编，制定了《军官假退除役办法》，从而将阎锡山、白崇禧、杨森等解除军职，消除了他们的威胁，彻底清除了在大陆时期就产生的派系之争。
薛岳由于屡建战功，难免好大喜功，从小便开始军事生涯的他又性格暴躁且喜好烟酒和赌博，同时他也和其他国民党要员一样喜用私人，其弟薛仲述、薛叔达、薛季良均在其手下任军职，其襟弟丘国维，内叔方学芬及方人矩，内弟方兴及方介均曾在薛左右任要职。再加上和蒋介石关系几十年来一直很微妙，在这场变动中薛岳当然也难以幸免。作为四大家族之一的陈果夫到台湾后不久便病死，陈立夫也被蒋介石放逐美国新泽西州，“中统”也随之解散，蒋经国联合陈诚开始在蒋介石的支持下控制党政大权。经过这番变动，国民党许多军政大员的权力逐渐被转移到蒋陈为首的实力派手中，被削弱职权的军政大员失去了往日的实力，从此落魄台岛，任人宰割。
薛岳失去军权后，被任命为所谓“总统府”一级上将战略顾问，其实只是一闲职。从此赋闲家中，一直未再得到启用。薛岳自幼就仰慕岳飞，喜欢临摹岳飞字体，这样也算给他一个静坐家中习文练字的机会，几年下来他写出的字更加苍劲有力，颇具岳飞遗风。1950年，薛岳与小他三十岁的第三位妻子结婚，次年移居花莲港，以为从此避开世间纷扰，过着清幽生活。
然而，蒋介石对他仍然无法释怀，担心他与白崇禧、李宗仁等人暗中有往来，1952年，蒋介石以其具有勾结“第三势力”的嫌疑，命台湾警备司令部对其住所进行搜查，家中里里外外被翻了个底朝天，甚至地板也都揭开，同时被搜查的还有白崇禧。薛、白二人打电话质问蒋经国，蒋经国称是奉总统之命，“你不信，打电话去问总统好了”。薛、白又打电话质问蒋介石，蒋回答说：“知道此事，不仅对你们两人如此，人人都应该这样来一次。”当然，实际上被搜查的只有薛、白两家。另外他还被怀疑在广东省主席任内有“大笔公款用项不明”，遭一些立法委员攻击。以后，薛岳意志消沉，平日请一国文教师在家教书，有时与杨森一道打猎。1952年10月任国民党中央评议委员，且此委员连任数届，但也不过是一个虚职。
直到1958年8月，陈诚继俞鸿钧后出任“行政院长”，为装点门面，才邀请薛岳等国民党各界资深人士出任政务委员。而薛岳本人由于多年潜心练字，修身养性，再也提不起从政的兴致了。1966年5月，薛岳又被任为国民党“光复大陆设计委员会”主任委员，手中并无实权，也无事可干。
星转斗移，转眼间二十多年过去了，其间蒋介石、蒋经国父子相继去世，高寿老人薛岳仍健康无恙。1990年2月，台湾召开“第一届国民大会”第八次会议，选举正、副“总统”。国民党台湾当局为安抚资深国大代表，收揽军系国大代表，以保证总统选举的顺利进行，居然推出96岁高龄的薛岳，让其担任“国大”八次会议开幕典礼的“主席”，主持开幕典礼。沉寂了许多年的薛岳又意外地出现于公众面前。
其实早在1984年“国民大会”第七次会议的第一次预备会议上，就原定会议主席为“国大”元老薛岳，旧仇新恨，薛岳称病未出席，在之后的“副总统”选举大会时，原定主席也是薛岳，但是他主持了五分钟后便表示“今天我发烧、头痛，腰也酸，请郭骥代替我”而离场。结果，次日致送“副总统”当选证书也是由大会代主席郭骥代替的。但时过境迁，今非昔比。台湾民进党代表不顾形象大闹会场，反对薛岳做开幕典礼主席，使薛岳感到不快。不久，李登辉顺利当选，薛岳的历史使命完成后，复归沉寂。
薛岳和很多跟随蒋介石逃往台湾的国民党军官一样，虽然远居台湾，几十年来却非常思念家乡故土，每有机会，总要打听家乡的状况。乐昌的乡亲也曾多次给他寄信、照片和录像带，希望薛岳能够看到家乡的新面貌，还经常托回乐昌探亲的台胞把故乡亲人的深情问候和祝福传达给薛岳，这一切都让客居他乡的薛岳异常感动。新中国成立后，人民政府也没有忘记这位抗日英雄，专门拨款对他在九峰的故居进行修葺，他的祖祠文物以及他在西石岩福地所建的“伯陵堂”等建筑物都得到了妥善的保管。