说到汉朝的权臣，霍光或许真的是一个忠奸难辨之臣。汉昭帝时，刘弗陵和霍光之间似乎并未起什么矛盾，这位皇帝也年纪轻轻就去世了。而继位者汉宣帝，却在隐忍不发中一步步除掉了霍氏的势力。那么难道汉昭帝就看不出来霍光的野心，刘弗陵为何甘愿被控制？
班固在《汉书·昭帝纪》赞语中曾对汉昭帝有这样的评价：“成王不疑周公，孝昭委任霍光，各因其时以成名，大矣哉!”班固以周公比喻霍光、以周成王比喻汉昭帝，汉昭帝信任霍光，委政于他，确实可谓是一位难得的明鉴之君。
霍光受汉武帝遗诏，与上官桀等辅佐年幼的汉昭帝。霍光与上官桀为儿女亲家，但后来上官桀的孙女做了皇后，就逐渐不满居霍光之下，两位大臣开始争权。
汉昭帝十四岁那年，上官桀父子及御史大夫桑弘羊勾结燕王刘旦，派人冒充燕王的使者给汉昭帝上疏，说：“霍光出外总领郎官、羽林军演习时，沿途超越本分下令戒严，预先派皇帝的膳食官到目的地为他准备饮食。”还说：“霍光任命将军府的长史杨敞为搜粟都尉，还擅自调选增加将军府的校尉。”试图以此为把柄，逼迫霍光辞职。不料奏章呈上后，汉昭帝不肯批下。
第二天早朝，霍光知道这件事后，就停留在画室不上殿。汉昭帝问：“大将军在哪里?”上官桀回答说：“霍光因为燕王告发他的罪行，所以不敢上殿。”汉昭帝下令召霍光进见。霍光脱下帽子，叩头谢罪。汉昭帝说：“将军请戴上帽子，我知道这封奏书是假的，将军没罪。”霍光问：“陛下怎知是假?”汉昭帝说：“将军总领郎官演习，是最近的事情，外人何以这么快知道?至于调选校尉一事，即使将军真的要作乱谋反，也不需要增加校尉。”
汉昭帝下令缉捕上疏的人，那人果然闻风逃走了。朝臣们无不敬佩汉昭帝的英明。后来上官桀的同党有进言诽谤霍光的，汉昭帝就发怒说：“大将军是忠臣，是先帝特意嘱咐辅佐我的人，再有敢说大将军坏话的立即治罪。”汉昭帝始终信任霍光，将政事委托给他，直到去世。霍光也不负汉昭帝信任，尽忠职守，十三年间，君臣相和，百姓富裕，四方外族都归顺汉朝，俯首称臣。