当时的台湾，处于严重的危机与混乱之中。阎锡山到了台湾之后，仍想拼死挣扎。他向蒋介石提出了“保卫台湾海南岛收复大陆计划方案”，方案却被蒋介石束之高阁。特别是阎锡山还想重温大陆的旧梦，他写信要李宗仁回台湾继续当总统，他好继续当行政院长。这就为蒋介石所嫉恨，决心将他赶下政治舞台。
此时，蒋介石正着力于将国民党党政军大权独揽手中，而阎锡山出任行政院长本是蒋介石与李宗仁矛盾的产物，台湾的政治舞台已不能容忍李宗仁，阎锡山岂有立脚之地。
1950年1月，蒋介石一手策划成立了“国民党改造案研究小组”，把阎锡山排除在外，这就说明阎锡山将被挤出台湾的权力中心。
3月1日，蒋介石在宣布引退一年又两个月后，复行“总统”职权，宣布将重组政府，这无疑是向阎锡山发出了要其下台的敦促令。
作为李宗仁代总统时代的行政院将被新政府所取代而成为历史，行政院长的宝座将易人。于是，识时务的阎锡山只好率全体行政院“阁员”向蒋介石提出总辞职，当即获得批准。
阎锡山辞职不久，蒋介石对人事安排做了重大调整。蒋的亲信陈诚被任命为行政院长，取代阎锡山；吴国桢被任命为台湾省主席；亲美派军人孙立人当上了陆军总司令；周至柔被任命为空军总司令；桂永清被任命为海军总司令。
蒋介石还任命他的儿子蒋经国为国防部政治部主任，掌握“一切党政特务机构”。所有一切重要部门的职务，都与阎锡山无关，这样，阎锡山就无声地从台湾政治舞台上消失了。
蒋介石大权在手，阎锡山不敢碰硬，只好乖乖留下来，在台湾消磨多余的岁月。阎锡山本来在台北闹市区准备有豪华的公馆，但他不愿住在那里，他搬到了市郊阳明山的菁山居住。那里虽然风景如画，环境幽静，空气清新，但地区偏僻，交通不便，而且连起码的现代生活设施如自来水、电灯、电话都没有。但阎锡山不管这些，硬是住了下来。
堂堂国民党的行政院长，在下台后，就住在这石头窑洞中，像古代人一样，过起了“日出而作，日落而息”的周而复始的隐居生活。
阎锡山在菁山一住就是十年，这十年中，他起居很有规律。每天早晨7时起床。早餐后便开始写作;午饭后，休息两小时，然后会客、座谈、看书或思考;晚饭后，他喜欢一个人到野外散步，呼吸新鲜空气，欣赏阳明山暮色中绮丽的风光;回来后，便拿出一部《易经》来，慢慢阅读。岁去年来，逝者如斯，他长住在此，怡然自得。
十年时间中，阎锡山的主要工作是著书立说。这期间，他先后写作并出版了大量书籍。纵观那些书的内容，纷纭复杂，但只有一个中心思想，便是反共。
阎锡山并没有从在大陆遭到的失败中找到人生的真谛，淡化其反共的意识;相反，他从反面去总结教训，更加顽固地坚持其反共立场，卖力地鼓吹反共的陈词滥调，在反共的道路上越走越远。
阎锡山虽然隐居菁山、闭门写书，表面上似乎看破政治，远离尘世，实际上，他参与政治的欲火并没熄灭，他是一个不甘寂寞的人。
除了写书、在书中大谈政治外，他还常到台北一些机关、学校、团体，向公众发表反共演讲。他虽然年迈体衰，但只要有人邀请，他必去无疑，几乎每月都有十几次演讲，有时一天讲几次，真可谓不辞劳苦。
1960年5月初，阎锡山突然发生腹泄，不久，腿部和脸部出现浮肿，他气喘吁吁，站立不稳，不能自持，常常要人扶着在沙发上坐一下，或者用小车推着在室外走一圈，自理能力一天天减弱。
5月22日，家人请来医生，经诊断后确定，阎锡山所患感冒已转成肺炎，情势严重，必须赶快送医院治疗。于是，家人迅速将阎锡山抬上救护车，准备送台北市台大医院诊治，但车行中途，阎锡山病情转危，不几分钟，便已昏迷。到台大医院后，虽经多方抢救，终因耽误太久，而无力回天，阎锡山最终死于台大医院，终年78岁。
一代枭雄便如此在台湾终老。