叛匪
咸丰四年（1854年）2月，湘军倾巢出动，曾国藩发表了《讨粤匪檄》。在这篇檄文里，他声称太平天国运动是“荼毒生灵”，“举中国数千年礼义人伦诗书典则，一旦扫地荡尽。此岂独我大清之奇变，乃开辟以来名教之奇变，我孔子、孟子之所痛哭于九泉”，接着号召“凡读书识字者，又乌可袖手安坐，不思一为之所也”，其站在了道德的制高点，故动员了当时广大的知识分子参与到对太平军的斗争当中，为日后的胜利打下了坚实的基础。
曾国藩命褚汝航为水军统领，塔齐布为陆军先锋，率大小船舰240艘，水陆大军17000人，挥师东下。3月，岳州战事不利。4月，在靖港水战中又被太平军石祥贞部击败，曾国藩愤而投水自尽，幸被幕僚章寿麟所救。因战事不利，曾国藩得旨革职。
此时，塔齐布与守备杨载福、知县彭玉麟带领陆军攻克湘潭。七月二十五日，曾国藩重整水陆各军后，出师攻陷岳州，击杀太平军曾天养，并攻克城陵矶，因功赏三品顶戴。10月14日取武昌、汉阳，因功赏二品顶戴，署湖北巡抚，赏戴花翎。因曾国藩努力推辞，而赏兵部侍郎衔。12月2日，曾国藩攻陷田家镇，杀敌数万，焚舟五千，进围九江。曾国藩因调度有方，赏穿黄马褂。
咸丰五年（1855年）2月12日夜，石达开总攻湘军水营于湖口，烧毁湘军战船100余艘。曾国藩跳船得免，座船被俘，“文卷册牍俱失”。曾国藩愤怒至极，打算策马赴敌以死，罗泽南、刘蓉力劝乃止。曾国藩派李孟群、彭玉麟、胡林翼支援武昌，而自己亲自到江西招兵造船。7月，塔齐布卒于军营，曾国藩赶往九江，统帅他的部队。8月，收复湖口。9月，补授兵部右侍郎。
咸丰六年（1856年），石达开进攻江西，曾国藩坐困南昌，这时罗泽南卒于军营中，彭玉麟走千里杀入重围至南昌助守。9月2日，洪秀全与杨秀清内讧，史称天京事变，南昌解围。10月，曾国藩在长募勇组建吉字营入援江西。
咸丰七年（1857年）2月20日，其父去世，曾国藩偕弟曾国华回籍奔丧。7月，两次上疏，请求在家终制，获咸丰帝准许。在当年建“思云馆”。
咸丰八年（1858年）5月19日，李续宾、杨岳斌率水陆两军攻陷九江。7月13日，曾国藩接咸丰谕出办浙江军务，救援福建。十二月，作《爱民歌》以训湘军。
攻占南京
咸丰九年（1859年）11月，曾国藩拟四路进兵之策，曾国藩攻取安庆，多隆阿、鲍超攻取桐城，胡林翼攻取舒城，李续宜攻取庐州。
咸丰十年（1860年）2月，曾国藩破陈玉成于太湖。由于两江总督何桂清放弃常州而奔上海，导致苏州、常州失陷。4月，清廷命曾国藩马上赶赴江苏，并先行赏加兵部尚书衔，署两江总督。6月，实授两江总督，以钦差大臣身份督办江南军务。7月，命皖南军务归曾国藩督办。
咸丰十一年（1861年）9月5日，湘军攻陷安庆。9月25日，曾国藩移住安庆。12月20日，加太子太保衔，奉旨督办四省（苏、皖、浙、赣）军务，其巡抚、提镇以下悉归节制。同月，在安庆创办内。年底，定三路军进军之策：“以围攻金陵属之国荃，而以浙事属左宗棠，苏事属李鸿章，于是东南肃清之局定矣。”
同治元年（1862年）1月31日，曾国藩奉旨任两江总督协办大学士，曾国荃补授浙江按察使。二月十四日，左宗棠率军由江西入浙江。四月，李鸿章率军抵上海。五月，曾国荃率军进驻雨花台，会同彭玉麟的水师围攻天京。六月，洪秀全命令各地太平军回援天京，太平军集结二十万人兵力，十月起大战湘军四十多天，未能取胜。
同治三年（1864年）正月，攻克钟山，合围天京。7月，湘军攻破天京，对无辜平民展开与抢掠。当时的南京城被烧毁，平民死伤无数，南京人称曾国藩、曾国荃兄弟为“曾剃头”、“曾屠户”。同月，朝廷加曾国藩太子太保、一等侯爵，世袭罔替，并赏戴双眼花翎。八月，奏准裁撤湘军25000人。