唐玄宗时期，李林甫专权，把持朝政。身为东宫侍读的薛令之对李林甫的做法非常愤慨。他曾写诗讽刺李林甫，劝谏唐玄宗。李林甫因此非常痛恨薛令之，处处排挤，时时打压。可想而知身在东宫的薛令之会有多么压抑。
东宫侍读最主要的任务就是陪太子读书，事情不多。一天，薛令之闲来无事，有想到李林甫弄权误国，自己常受其打压，为了纾解郁闷的心情，他提笔在办公室的墙上写了一首诗：朝日上团团，照见先生盘。盘中何所有?苜蓿长阑干。饭涩匙难绾，羹稀箸易宽。只可谋朝夕，何由度岁寒?他在诗中把李林甫比喻为苜蓿，说连苜蓿这种马吃的饲料都能当作蔬菜摆上餐桌，这日子该怎么过下去?
一天，唐玄宗到东宫去检查太子的学业。恰好薛令之不在办公室。玄宗就去溜了一圈，抬头就看到薛令之写在墙上讽刺李林甫的诗。但唐玄宗误解了诗句的意思，他认为薛令之这是假托饭菜不好，抱怨皇帝让他闲居冷曹，不重用他。玄宗对此大为不满，居然有人胆敢明目张胆题诗讽刺我，真是吃了豹子胆了。但唐玄宗毕竟比朱元璋开明，他并没有把薛令之怎么样。而是拿起笔来在薛诗后面和了一首。玄宗写道：啄木嘴距长，凤凰毛羽短。若嫌松桂寒，任逐桑榆暖意思很明白，用今天的话说就是你如果嫌弃伙食不好待遇太差，你可以另谋高就啊!
第二天，薛令之看到玄宗皇帝的和诗，仿佛是受到了当头棒喝。他思索了几天，联想到李林甫的种种作为和自己所收到的打压，便对官场心灰意冷，萌生了辞职回家的念头。他给玄宗皇帝上了道奏折，说自己最近经常生病，无法正常工作，希望皇帝允许辞官返乡。唐玄宗看了薛令之的奏折，也没有多想，便批准了他。薛令之两袖清风，在朝为官30多年，没有存留有任何金银珠宝，辞官之后“徒步”回乡。薛令之回乡后隐居于灵谷草堂，过着钻研经书、抱瓮灌园的生活。
身在京城的玄宗皇帝偶尔还会想起他的这个大臣，问一问他的情况。当他得知薛令之生活清贫的时候，“心甚怜之”，曾下诏用长溪(薛令之是长溪人)的岁赋资助他。从薛令之不得已辞官回乡一事可以明白劣币驱逐良币这一亘古不变的道理。在整个玄宗朝，被李林甫驱逐的可不止薛令之一人。一个容不下人才的朝廷，到头来结果可想而知。