正當左係湘軍受阻於嚴州、金華一帶的時候，曾國荃、彭玉麟率部水陸齊下，向太平天國的首都天京殺去。
他們遇到的第一個重要關卡，名叫金柱關。金柱關之所以重要，除了它是天京的重要的屏障外，還有一個重要的原因，那就是從金柱關出發，可以經水路抵達太平軍的重要糧食中轉站——高淳縣的東壩鎮。
東壩鎮以北有水路可通天京城外的秦淮河，以東有水路可通太湖。太湖周邊，則是江蘇省的常州府、蘇州府以及浙江省的湖州府。這些地區，都盛產糧食。所以，經東壩鎮轉運，太平軍就可以將常州、蘇州、湖州的糧食，源源不斷地運往天京。
對於湘軍來說，隻要攻克金柱關，進而拿下東壩鎮，就可以切斷太平軍的這一條重要糧食運輸線，加速江寧城中的太平軍的崩潰。
金柱關的旁邊，是安徽省的太平府城。為拿下太平府城，同時拿下金柱關，曾國荃製訂了一個聲東擊西的作戰計劃。
在對金柱關周邊據點發動了幾天的佯攻之後，1862年5月18日淩晨，曾國荃率部在湘軍水師的幫助下秘密渡江南下，對太平府城發動突然襲擊。
駐守太平府城的太平軍以為湘軍在攻打金柱關，一時半會不會殺過來，於是放鬆了警惕。當曾國荃大軍殺來的時候，他們還在漫不經心地修葺城牆，根本沒有做好戰鬥準備。於是，他們很快被湘軍擊敗，被迫放棄府城，據守府城南麵的一條河流對抗湘軍。
第二天，湘軍與太平軍隔著那條河流，對打了一天。湘軍傷亡二十餘人，太平軍也有少量傷亡。
駐守金柱關的太平軍得知太平府城陷落後，失去了繼續堅守下去的信心。湘軍水師趁機發動猛攻。到這天傍晚的時候，太平關就落入了湘軍之手。
據守在太平府城南麵的太平軍，得知金柱關失陷後，連夜撤離。就這樣，湘軍攻占了太平府城以及金柱關。