元和十四年（819年），崇道信佛的唐宪宗亲率宫女30人，手捧香花，去护国寺恭迎佛骨进宫供奉三天，然后再送往京城各个寺庙里瞻仰。上有好者，下必效之，于是君臣皆以信佛为荣。韩愈看不惯了，上表力谏，说供奉佛骨实在是一件荒唐事，梁朝就是因为信佛而亡国的。这下可就触怒了宪宗，声言要用极刑处死韩愈。幸亏裴度等人为其说情才免去一死，后被贬到潮州去做刺史。可韩愈还是“拎不清”，再度上表，而且措辞比前一次更严厉。宪宗龙颜大怒，遂下了一道圣旨，把韩愈一家逐出京城。可怜韩愈12岁的女儿当时正病在床头，被抬着上路，其时正是风雪高寒的深冬，走到商山时女儿就咽气了。韩愈把女儿草草地埋在路边，连一块小小的碑也顾不上立，就被差役催着赶路去了。家人不幸，个人浮沉，加上路途遥远，使得50多岁的韩愈身心十分疲惫。一到潮州，他立即写《谢罪表》，痛责自己，感恩圣上，乞求圣上开恩让他回京城。
佛事过后，宪宗时常念起韩愈的好来，再看他的《谢罪表》言辞恳切，有心召他回京。但宪宗要杀杀他的傲气，就让他到离京城较近的地方任职，以观后效。韩愈感激涕零，从此学乖了，朝堂上的事一概不闻不问，空下来就钻研学问。唐穆宗继位后，韩愈被召回长安担任主管教育的行政长官，后又升任兵部侍郎、吏部侍郎。官越做越大，胆子却越来越小。当下属要上表改革吏治时，作为第一把手的韩愈竭力阻止，痛责下属无事生非。其实他不是看不见当时吏治的腐败，对百姓水深火热的境况也不是不清楚，只是他老了，心寒了，得过且过了。要是再有什么“佛骨事件”，他的一把老骨头是经不起折腾了。
长庆三年（823年）早春，韩愈邀同僚张籍游曲江，写下《早春呈水部张十八员外》：“天街小雨润如酥，草色遥看近却无。最是一年春好处，绝胜烟柳满皇都。”春景是美艳极了，但与社会现状反差强烈，令人反感。后世的陆游、文天祥都批评韩愈“独善其身而置朝堂时弊于不顾”，今人也指责这时的韩愈已从一个敢说敢为的文人蜕变为一个明哲保身的懦夫，表现出了自身的“阶级局限性”。话是说得不错，只可惜是站着说话不腰疼。作为一个很想有所作为的知识分子，他曾仕途浮沉几起几落，甚至差点儿掉了脑袋，待到人老了，好不容易有了垂垂暮年其乐融融的安生日子，你再要求他像年轻时一样不顾一切地去冒政治风险，岂不是太强人所难了吗？
韩愈老了，经不起折腾了，想过一点属于自己的安定和谐的生活，也是人之常情啊。敢于说话是要有让人说话的环境的，在“噤声如寒蝉”的氛围里，与其发出任何一点不同声音都可能招来灾祸，还不如索性不说，尤其是对身处官场又垂垂老矣的韩愈——唉，怪谁呢！