1926年7月，北伐战争开始后，胡宗南所在部队集结株洲，担任中路军总预备队。此时，胡宗南已是第一军第一师第二团上校团长，先后率部参加了武昌、南昌等战役，又东出浙江，攻占杭州，进驻上海。
期间，南昌城郊牛行车站一仗打得尤为漂亮。1926年10月，北伐军第二次进攻南昌，胡宗南奉命率部攻打南昌城郊牛行车站。孙传芳派军长李彦春率2万人死守，胡宗南久攻不下，后来设计火攻，在牛行车站周围堆上大量柴草，洒上汽油与辣椒。柴草被点燃后，带着辣味的浓烟笼罩了整个牛行车站，守军跳出工事乱窜，胡宗南立刻指挥机枪扫射，以一个团的兵力打败孙传芳的一个精锐师，俘虏军长李彦春及手下官兵8000多人，迫使南昌守军开门投降。之后，胡宗南又作为先锋，率部追击残敌，俘虏敌人近2万。
1927年5月，胡宗南升任第一师少将副师长兼第二团团长，成为黄埔学生中跨入少将军衔第一人。胡宗南从军三年，便成为当时国民党军中为数不多的高级将领之一。在此后的二次北伐中，胡宗南又率部打过不少硬仗。
