在逃往热河的路上，沿途州县官员多因避乱逃匿，无论是咸丰帝，还是王公大臣，抑或后宫嫔妃，一开始均不能按时吃饭，只能“以豆乳充饭”，甚至要忍饥挨饿。然而，有人向懿贵妃报告，肃顺那里备有食盒，可以“供御酒肉”，食品丰富。懿贵妃等后宫嫔妃认为，这是大权在握的肃顺有意欺侮苛待后宫，因而愈加大为不满。
如果说肃顺其人因勇于任事，为政苛猛，得罪了不少满汉朝廷重臣，由此埋下的政治危机和隐患，其本人尚可充分利用其所掌握的权力逐一化解的话，那么，他与心胸狭窄，但身为小皇帝生身母后的慈禧太后之间的矛盾，则成为其致命的政治危机、杀身之祸。
本来，因肃顺颇受咸丰帝的专宠信任，当时的懿贵妃亦不得不让其三分，恭而敬之，甚至是有意地结纳讨好。正如《清代野史》所说：不但当时的诸位嫔妃皆小心谨慎地对待肃顺，“孝钦(即慈禧太后)亦在鱼贯之列，不能独异”。《清稗类钞》也记载说：懿贵妃因肃顺颇得咸丰帝信任之故，“隐冀得肃以自援”。不料生性倔强而又有些目空一切的肃顺，“则以谂知后(懿贵妃)之往事，良轻后”，同上。并未将这位当时不过二十余岁的女人放在眼中，更未放在心上。
肃顺与懿贵妃关系的恶化，其起因仅属一二件琐事。其中即有肃顺过于张狂的原因，也有懿贵妃作为一个女人，特别是权力欲极强的女人的狭隘心理，其中又掺杂着某些无知与误会。
1860年9月，英法联军即将兵临北京城下之时，咸丰帝曾谕令顺天府征集车马数百辆，名义上是其将率六师亲征，实则准备率部分王公大臣及嫔妃逃往热河，即其上谕所说：“即将巡幸之预备，作为亲征之举”。但是，消息传出以后，不但“六部、九卿、台谏、侍从之列，联衔奏递封章，请上速定(自圆明园)还宫大计”，纷纷上奏，“皆止驾劝行”，而且民间传言纷纭，“更多疑虑……众情益涣，岌岌可危”。同上。为了稳定大局、人心，咸丰帝不得不于9月14日颁谕，命将“所有备用车马……即行分别发还”，希望借此“以息浮议而定人心”。因此，当咸丰帝率王公大臣等自圆明园仓皇出逃时，仅有的一辆朝廷的宫车，当然是要供给皇帝乘坐了，而其他后妃等人只得临时雇用民间车马相从。
民间的车辆当然无法与宫车相比，不但骡马瘦弱无力，而且车辆破旧简陋，乘坐其中也的确受罪。特别是进入山区以后，道路崎岖不平，车辆左右摇晃，上下颠簸。后宫中的那些平时衣来伸手、饭来张口、风吹不着、雨淋不着的佳丽妃嫔们，实在难以承受。
懿贵妃曾多次以略带讨好的口气乞请指挥队伍的肃顺给自己换辆好车，甚至是“涕泣乞请”。肃顺本来已被沿途的种种困难搞得焦头烂额、心焦气躁，认为懿贵妃实在是有些不知天高地厚，便疾言厉色地说，现在沿途各地方官员都逃避一空，去哪里为你找车?中宫的皇后乘坐的也是民间临时所雇的车马。肃顺颇不客气地顶撞懿贵妃说：“尔何人?乃思驾中宫上耶?”懿贵妃遭到肃顺的这一番抢白揶揄，表面上虽不敢再说些什么，“然由是深衔肃”。
在这一次语言冲突中，懿贵妃与肃顺都有责任。懿贵妃的责任，主要在于其不能充分理解负责整个逃亡队伍后勤工作的肃顺的诸多难处;而肃顺则因事多性急，尤其是对于懿贵妃“思驾中宫上耶”的不满，说话过于直率，甚至有意伤害懿贵妃的自尊。
如果说上述“琐事”引起的矛盾冲突，懿贵妃与肃顺各有各的责任，那么另一件“琐事”的责任，则主要在懿贵妃了。
在逃往热河的路上，沿途州县官员多因避乱逃匿，无论是咸丰帝，还是王公大臣，抑或后宫嫔妃，一开始均不能按时吃饭，只能“以豆乳充饭”，甚至要忍饥挨饿。然而，有人向懿贵妃报告，肃顺那里备有食盒，可以“供御酒肉”，食品丰富。懿贵妃等后宫嫔妃认为，这是大权在握的肃顺有意欺侮苛待后宫，因而愈加大为不满。
其实，在这一事情上，肃顺真是有些被冤枉了。因为按清制规定，皇后及众多嫔妃的饭食供给，向来例由专门的膳房负责，“外臣不敢私进”。因此，不但肃顺本身没有筹备后妃饮食供给的责任，而且也没有这一权力。但是，当时包括皇后在内的后妃们，“不知其由，以此切齿于肃顺”。
咸丰帝一行抵达承德以后，生活上虽暂时安稳下来，但因此次是为躲避战乱的仓皇出逃，因此各种物资供给仍然较为紧张匮乏，远不能与宫中相比。
在这种的情况下，肃顺等人对咸丰帝各种物质资食要求，当然要“辄先意进奉”，而对后宫各嫔妃，则“供应极薄”。据说当时皇后的膳食亦不过是“一羹一胾饭一器而已”，至于其他贵妃以下的嫔妃等，只“月给膳钱五千”。
这种状况并不能完全归咎于肃顺。抵达承德避暑山庄以后半个月，即九月初一，咸丰帝亲笔朱谕：“赏内廷主位饭菜一桌、大碗菜二品、小碗菜二品、碟菜二品、大馒头一碟十个、小菜四碟、老米饭、粉汤卧果、白煮羊肉。钦此。”由此可见，当时热河行宫的供给的确十分紧张，食物短缺，以至于要咸丰帝亲笔朱谕赏食肉食。由此亦可推想，当时的肃顺并非有意，亦无此全权在饮食方面贬抑后宫嫔妃。用这样一句话形容此时的肃顺大概倒是比较贴切的，“岂能事事尽如人意，但求无愧我心耳”。
懿贵妃等人因在热河的饮食不佳而与肃顺结怨，的确有些女人的小家子气了。后人评论说：肃顺等人“灭门之祸，起于饮食之微，可为唉息”，确有一定的道理。