胡宗南于1929年1月任国民党军第一师第二旅旅长；次年5月，中原大战爆发，该师代师长徐庭瑶负伤离队，胡继任师长。获统帅蒋介石起家的所谓“天下第一师”，胡在春风得意的同时，尤感欠缺的是，尚非名正言顺的主官。

　　1930年10月，中原大战结束，兼第一师师长的刘峙升任开封绥靖

公署主任、河南省政府主席，高就封疆大吏，但他仍抓住第一师师长不放，成了胡宗南升迁的首碍。刘、胡虽同属蒋介石亲信，但胡系蒋的浙江同乡，二者相较，蒋尤宠信后者。胡宗南依仗蒋介石的优宠，与顶头上司展开暗斗。而刘峙也不是什么“省油灯”，岂能将重职拱手让出。双方僵持，矛盾激化。胡见目的不达，竟负气别军而走。

　　这样，第一师无首，几近散沙，然蒋介石热衷“剿共”，军情紧迫，怎容如此局面？刘峙深知情况严重，恐蒋怪罪，只得亲自出马，把胡找回，允诺保胡正式升任师长。

　　胡宗南接掌第一师后，大肆扩充所部。他上任未几，即设四个步兵旅；每旅三团，每团三营，每营四连；各级还附设名目繁杂的直属部队。胡师装备先进，武器精良，一跃而为国民党军甲种师里的“佼佼者”。

　　随着内战的绵延，第一师日益庞大，下辖最高时达十六七个团，比通常的军都大得多。胡宗南却自忖资望尚浅，惟恐树大招风，故而一反当初争夺师长职位的急切心态，不拟迅速改编成军。这样一来，局限于师的架框，胡部旅、团长们无法升迁，颇生怨尤。其中数人不安于位，策划离开胡部，另谋发展，或已实现，或告假滞归。如独立旅旅长丁德隆公开扬言：“头可断，第一师不可干。”加之南京政府军政部长何应钦基于理顺编制的目的，也要求胡部晋级，胡拒从，何以停发经费施压。面对内外威逼，胡宗南反复考虑，终遂蒋介石令于1936年9月在长沙组建第一军。军辖第一师和第七十八师及一补充旅。胡为军长兼第一师师长，升丁德隆为第七十八师师长，表示“蔚留”。