1926年7月,北伐战争开始后,胡宗南所在部队集结株洲,担任中路军总预备队。此时,胡宗南已是第一军第一师第二团上校团长,先后率部参加了武昌、南昌等战役,又东出浙江,攻占杭州,进驻上海。
期间,南昌城郊牛行车站一仗打得尤为漂亮。1926年10月,北伐军第二次进攻南昌,胡宗南奉命率部攻打南昌城郊牛行车站。孙传芳派军长李彦春率2万人死守,胡宗南久攻不下,后来设计火攻,在牛行车站周围堆上大量柴草,洒上汽油与辣椒。柴草被点燃后,带着辣味的浓烟笼罩了整个牛行车站,守军跳出工事乱窜,胡宗南立刻指挥机枪扫射,以一个团的兵力打败孙传芳的一个精锐师,俘虏军长李彦春及手下官兵8000多人,迫使南昌守军开门投降。之后,胡宗南又作为先锋,率部追击残敌,俘虏敌人近2万。
1927年5月,胡宗南升任第一师少将副师长兼第二团团长,成为黄埔学生中跨入少将军衔第一人。胡宗南从军三年,便成为当时国民党军中为数不多的高级将领之一。在此后的二次北伐中,胡宗南又率部打过不少硬仗。