有书记载，咸丰不顾兵败割地赔款，国家陷于危难之中，躲在热河行宫寄情于声色，聊以自娱，自我麻醉。他有所谓汉女"四春"：牡丹春、海棠春、杏花春、陀罗春，整天一起在园中游玩嬉闹。此外更有他十分眷爱的"天地一家春"，就是慈禧。
原来，慈禧见他整日和四春在一起，醋意大生，和咸丰吵闹不休。宠爱慈禧的咸丰没办法，遂赠慈禧"天地一家春"意思是说天地之间你是最大的春意!慈禧这才满意。
还有野史说咸丰养着一位民间寡妇。《野史叟闻》记载：咸丰钟情于一位寡妇曹氏，山西人，长得秀美妖艳，妩媚动人。入宫以后，咸丰最为眷恋。野史类似的记载还有："山西籍孀妇曹氏，风流姝丽，脚纤小，喜欢在鞋履上缀以明珠。咸丰帝召入宫中，最为眷爱。"
咸丰年间太平军、捻军战事连年，咸丰帝不得不关注朝事。且看他询问民情军情的话：
问张集馨："湖广白莲教齐二寡妇长的什么样子?为何能以一个妇人聚众闹出那么大事?"
"听说福建民间家族械斗，不知道打得如何热闹?死了多少人?丧命的人赔偿多少钱呢?"
召见段光清时，恰值浙江巡抚奏报余姚佃农抗租，聚众进城，焚烧恶霸邵五住宅的事。咸丰帝问段光清是否知道此事，段光清不愿细说，只说主佃发生口角，至于打斗，不过土匪之类罢了。
咸丰帝一听到土匪就紧张了，急忙问："土匪厉害不厉害?会闹大吗?知县能铲除这帮土匪吗?"段光清回答说知县能平土匪，咸丰的情绪才缓和下来。
咸丰喜欢问及官员相貌与官兵是否接近女色、男色。他曾问张集馨："胜保帐篷里是否都是美女俊男?向荣知道不知道江北兵勇私养女人，不肯打仗?"
咸丰帝的发问虽然多半是出于好奇，但他问将领和军士是否好女色、男色，也许反映了他的内心世界。