提起“四人帮”人们总会先想到江青、王洪文，在这伙人中最不起眼的应该还是姚文元，因为当时他的职务最小，不过这样成了一个好处，他被判的最轻。
1981年，姚文元只被判处了20年有期徒刑，1996年10月，他刑满出狱了，出狱时的姚文元已经65岁了，成为了一个老者。
此时他已经不再有人前呼后拥，走在街上与普通人无异，而且在他被捕之后，他的妻子和女儿都搬出了市委大院，住进了普通的民房。
他妻子金英的工作也调换了，到了一个不那么起眼的岗位，不过妻子金英没有去上班，而是在家里照顾孩子，这些也都是拜姚文元所赐。
姚文元也知道，自己被捕对家人的生活带来了影响，不过他和妻子金英的关系非常好，妻子没有抛弃他，始终等待这姚文元刑满出狱。
可惜是的妻子金英在姚文元出狱前一个多月时去世了，出狱后的姚文元和女儿生活在一起，在第二年就为妻子建了一个墓，地点在上海青浦区福寿园之中。
姚文元为妻子金英立碑，并且在黑色大理石墓碑背后留了一首词，其中有几句“碧草沉沉水寂寂，漫漫心酸，谁解其中意，不改初衷常历历，年年化作同心祭。”读起来十分凄美。
在外人看来，他妻子金英的墓碑和其它逝者的墓碑没什么不同，这其中的奥妙就在坟墓之中，因为姚文元死后也葬在了里面。
姚文元是2005年12月23日因病去世的，他葬在哪?这个秘密一直到2009年才被外界获悉，揭开这个谜的是作家叶永烈的《漫步在姚文元墓前》一文。
据说在姚文元去世之前就叮嘱，死后和妻子葬在一起，他选择不重新立碑，也不写名字和其它信息，这是学武则天，留下一块“无字碑”。
姚文元的效果似乎达到了，对他和“四人帮”其它人的评价有很多种，“无字碑”肯定是写不下的，其实姚文元这样做并非是故弄玄虚。
他只是不希望在自己死后，子女能不被打扰，不再受到他的连累，真可谓是用心良苦，不过关于他子女的信息，确实很少有人知道。