1852年曾国藩在省城长沙招兵募勇，举办团练，开始为东征作准备。当时负责湖南防务的是绿营军，绿营军与湘军团练是在同一个地方操练。绿营军仗着自己是国家正规军，很是看不起这些农民出身的湘军，因此经常有些绿营士兵欺负湘军士兵。慢慢这也就酿起了一起大祸。这天几个喝醉酒的绿营士兵与几个湘军士兵因赌钱发生了争执，绿营士兵纠集了一大帮人对湘军士兵大打出手，湘军的几个士兵被打成重伤，曾国藩的弟弟曾国葆也在这次被误伤。
早已憋了一肚子火的曾国藩，实在是忍无可忍，于是向提督鲍起豹提出要求交出带头滋事的绿营士兵，加以严惩。鲍起豹也早已对曾国藩插手绿营事务极为不满，借机一边把这几个绿营兵五花大绑送往曾国藩公馆，一边暗自鼓动绿营兵去闹事。当晚一大批绿营士兵就包围了曾国藩公馆，要求释放滋事的绿营士兵。其中有几个冲进了公馆，开枪一阵乱射，曾国藩的贴身侍卫被打伤，曾国藩本人也险些中弹，场面一度失控。惊慌失措的曾国藩跑到隔壁，向湖南巡抚骆秉章求助。骆秉章的府衙与曾国藩公馆仅一墙之隔，当天发生了这么激烈的冲突，骆秉章不可能不知道，但都没有出来制止。骆秉章慢慢赶到后，不但没有斥责绿营兵，还亲自给几个被绑的绿营士兵松了绑，释放了绿营士兵。之后对曾国藩说了句：“以后打仗还得靠他们的”也就回去了。
第二天这件事成为那些一心想看曾国藩笑话的湖南官员津津乐道的笑料，以至于流传出曾大人昨天晚上被绿营士兵打了的谣言。这件事情之后，曾国藩悲哀的意识到，省城长沙是无论如何也呆不下去，不得不将部队转移到了，湖南南部的衡阳。
江西的苦难岁月
1854年湘军东征进入江西，在江西曾国藩坠落到了他一生中事业的最低点。对太平军的战事，一度屡败屡战，而与江西当地的地方官员，也是矛盾重重。
这一年，他遇到的是陈启迈，陈启迈跟曾国藩是同乡，又是同一年考中进士。早年陈启迈也的确曾与曾国藩有不错的交情。曾国藩幻想着得到陈启迈的帮助，而这也仅仅只是曾国藩一厢情愿的幻想而已。湘军是受朝廷之命，民间自费养兵，因此湘军很大程度上的军饷也仰仗江西方面提供。身为江西最高行政长官的陈启迈经常以江西本省开支巨大，财政吃紧为由，拖欠湘军的军饷。对曾国藩本人也经常是阳奉阴违，两面三刀，曾国藩对此也只得忍让理解。
曾国藩与陈启迈的矛盾，因为一个叫彭寿颐的人而激化。彭寿颐受曾国藩之命在江西南康设立了一个叫厘金局的机构，在一些行商的车船码头收一些厘钱，以补贴湘军军费开支。陈启迈对此十分愤怒，下令抓了彭寿颐，并在审问中，将彭寿颐拷打至死。曾国藩忍无可忍，无需再忍，向咸丰皇帝上了个折子，参了陈启迈一本，在折中历数陈启迈五大罪证，终于朝廷将陈启迈革职查办。
矛盾根源
早年曾国藩几乎每到一个地方都与当地的官场矛盾重重。初到长沙时，因为处处插手长沙各方面事务，遭到了长沙官场的排挤、对付。进入江西也与几任江西巡抚极为不和，不论是开始的陈启迈，还是后来的文俊、沈葆桢。
曾国藩与地方官的矛盾并不是私人恩怨，大多都是因为公事。曾国藩是帮办团练大臣，而这仅仅只是一个差使，并无实权，而他的湘军想要有所作为，又必须采取强势。这也就造成了每到一个地方，地方官场都不可能容忍无职无权的曾国藩来指挥他们。加之朝廷对湘军一直以来是既利用，又打压，这也在一方面造也了曾国藩在地方的更加被动。今天的人们，在佩服曾国藩的那些功勋的时候，却也很少有知道曾国藩在内外交困的时候，是如何的战战兢兢，如履薄冰的。