1883年，阎敬铭出任军机大臣后，听说内务府买皮箱，每只报价60两银子(约今1.8万元)。他对慈禧说：“外面购买同样的箱子只要6两银子，可想而知，内务府要私吞多少?”
阎敬铭是我国古代为数不多的理财专家，有“救时宰相”之称。为官廉正耐劳，生活奇俭，以直言敢谏、曲正分明而闻名。曾弹劾大小不称职的官员百余人。
阎敬铭做官多年，一直穿一件布袍，不管周围人如何评论，他都毫不在乎，以致出门在外，人们竟不知他是朝廷大员。而且不论在哪里任职，阎敬铭总是把自家的纺布机安装在衙署大堂后面，让夫人纺绩于大堂之后。对此，有人不以为然，有人暗中讥笑他。可阎敬铭却以此为荣，他常常指着身上的棉袍向僚属炫耀说:“内中之絮，内人所手弹也。”
阎敬铭做山东巡抚时，曾经请学政来家吃饭，青菜白盐糙米饭，瓦壶天水菊花茶，中间加一碟烧饼。饭菜上齐，阎敬铭拿起烧饼，掰开就吃，津津有味。那学政面有难色，阎不以为意，频频相劝，最后在阎敬铭的热情鼓励下，勉强吃了半碗米饭。学政回去对人说，他哪里是在请客，简直是在祭鬼。
1883年，阎敬铭出任军机大臣后，听说内务府买皮箱，每只报价60两银子(约今1.8万元)。他对慈禧说：“外面购买同样的箱子只要6两银子，可想而知，内务府要私吞多少?”
慈禧当然知道其中的猫腻了。只是作为统治者的她需要的是奴才们的忠诚而非廉洁。半晌之后，她摇头说：“恐怕没有这么便宜吧!”而阎敬铭却坚持己见。慈禧不耐烦地对这个不体察“上意”的大臣说：“这样的话，我给你半个月的时间，你买个给我看看。”
阎敬铭立即拿出银子直奔市场，却看到皮箱店都关门大吉了，打听之后才知道，片刻之前从宫里来了一个老太监，交待店家半月之内不可开张做买卖，否则必砸其饭碗。
无奈，阎敬铭又悄悄地派亲信去天津采购皮箱。谁知道，亲信也一去不复返。后来才知道，那个亲信被内务府花重金买通了，根本没有去天津，而是躲起来了。贵为军机大臣的阎敬铭对此也只能徒然兴叹。
慈禧为了享乐，要修圆明园，可阎敬铭觉得国家正困难，还是以大局为重的好，他上折力阻，说“治以节用为本”。这让慈禧太后很不高兴。而且阎敬铭在军机处因为受了小人气，把当时的军机大臣还给辞了，专管财政，谁也别想乱花一分钱。
可慈禧是谁啊?你敢在我面前扣?找了个小茬，就将阎敬铭罢官了。后来，怕对天下臣民交代不过，又给他官复原职，可阎敬铭知道自己已经完全失去了恩宠和信任，还有什么好干的呢?除非事事顺从。可这实在窝心，没有办法，为了眼不见心为净，他递交辞呈，回老家养老去了。