虽然，“肃宗嘉之”，但在他内心，却是深自愧疚。皇上待他越好，他越感到不安，不知道该怎样弥补自己的过失。离开了他的桃花源——辋川，就像宝玉失去通灵一样，他的诗歌也失去了灵性的润泽，而只剩下灵魂的呐喊。
万尸伤心生野烟，
百官何日再朝天?
秋槐叶落深宫里，
凝碧池头奏管弦。
此时的王维，已是身不由己。作为一个有地位有思想的知识分子，他知道身为伪官，意味着什么。
天宝十四载(755年)，一场惊天之变凭空而起。“渔阳鼙鼓动地来，惊破霓裳羽衣曲”，一个伟大的时代到头了，大家的好日子也到头了。安禄山攻破两京，玄宗仓皇西逃。本来，王维想跟随玄宗而行，可没想到，稍一差池，竟落下了，被贼兵所得。受困期间，他曾服药装生病，想混过这一关，但终不得脱。更不幸的是，安禄山竟然对他青眼有加，还特意派人把他迎到洛阳，关在普施寺里，一定要让他做官。
王维是一个平和的人，他不是有血性的那种。所以，他不敢拍案而起。裴迪来看他的时候，告诉他安禄山在凝碧池边大宴部下，还让梨园弟子为他们演奏。那些演奏的人，都是宫中旧人，如今竟要为逆贼演奏，心中能不伤悲么?据说有个叫雷海青的乐工，拒不出演，被逆贼肢解示众，真是惨啊。王维听了，又痛心又惭愧。他不知道何以自处，只渴望这一切快点过去。他向裴迪私下口诵了“万户伤心生野烟”之句，也算是聊以自慰吧。
在不自由中，王维想到了与裴迪在辋川的自由生活。当初，要不是为了那份不薄的俸禄，他早就全身而退、完全归隐了。想想，在辋川的日子，多么令人难忘啊。记得那一年，他还写了一封信，去诱惑复习迎考的裴迪。那是多么美妙的夜晚啊!站在山冈上，但见辋水泛着涟漪，与月色融为一体。远山的火光，隔着树林，时隐时现。深巷犬吠，吠声如豹。而村中舂米的声音，应和着几声疏钟。清晨，草木蔓发，春山可望。白鸥翔集，露湿水泽。不远处的麦垄里，发出野鸡的叫声。他在信中故意说：“非子天机清妙者，岂能以此不急之务相邀?”临末，还再强调一句，此中有真趣，不要忘了。
自从王维买得宋之问的辋川别墅之后，几乎每一个“双休日”，他都要驱车回到那里。长安城里是热闹，但不是他的家。何况，他对热闹，本来就没有多少兴趣。
原先，张九龄做宰相时，王维倒还看到一点人生的希望——张九龄对他有知遇之恩，而且张的为人，也让他觉得亲切，毕竟大家都是诗人，惺惺相惜。而李林甫为相后，朝廷的事是一天比一天糜烂，王维对此倍感失望。而王维作为张九龄一边的人，要他们青睐他，这怎么可能呢?至于拍马走后门之术，王维一直都感到特别别扭，所以他宁愿做个小官，平平稳稳地领一份俸禄，干自己喜欢的事，过自己喜欢的日子。
但是，现在，这样的日子已经一去不复返了。裴迪啊裴迪，你让我怎么办呢?我又何尝不想“悠然策藜杖，归向桃花源”呢?可是，“安得舍尘网，拂衣辞世喧”?王维看着裴迪，只能是伤心人对伤心人，流泪眼对流泪眼。而那些以前写给裴迪的诗篇，也越来越遥远了。
这一切，都是源于当初自己功名心太重啊。