继“陈诚组阁”之后，蒋介石又着手军事改组问题，而且心情更加迫切。导致国民党大陆溃败的直接原因是军事上的惨败，退到台湾后，仍面临着誓言“一定要解放台湾”的解放军随时进攻的威胁，而惊魂未定的国民党军队很难再承受最后一击。经过三年大战之后，退到台湾、海南、金门、舟山、大陈的国民党军仅剩下60余万，且多系有名无实之师，谈不上什么战斗力。曾亲身经历过国民党溃败的江南，在其所著《蒋经国传》中这样描述当时国民党军的状况：“败兵残卒，乌合之众，未经整补训练前，难挡强敌；很多单位，徒具虚名，官多于兵，或有官无兵，为普遍现象；官兵成分，五花八门，职业军人，混杂着受裹胁的农民；野战师团，零零星星，系临时由流亡学生、保安团队拼凑。”即使蒋介石颇引以为骄傲的海空军也面临着巨大困难。据其权威部门估计，当时周至柔指挥的空军，兵员8 5万余人，各型飞机400架，但缺乏维修的零件，真正能作战的仅有半数，汽油储存量两个月；桂永清控制的海军，官兵3 5万人，舰艇50艘，但实际发挥战斗力的海军攻击舰艇，不及半数，且零部件缺乏。蒋介石观察到，士兵的生活极其艰辛，“士兵苦痛，至今军毯尚有四人拼一张也”《蒋介石日记》（手稿本），1950年2月23日。。这样的军队与士气，如何能打仗。1950年初，蒋对台湾的危局有如下判断：

军事失败，大陆沉沦有形之损失，尚在其次。而各部会长卷款逃港，以及留港物资故意滞角以待交共之资金足供二年以上之军政费用，半数冷结半数供匪，李德邻不仅不知管制，而且接受刘航琛等之购款充其赴美之私用。此种纪纲扫地之精神损失，实为二十年余之奋斗所得之基业完全被其颠覆殆尽。目睹今日之空军，装甲兵、陆军与海军主管皆拥兵自私，视同私物，国既不国，军亦非军，而革命军人之人格荡然矣。呜呼，如余复出，果能救国抑误国而已乎？若照去年一月间大陆沉沦之速，则余如再不出而负责，则仅存之台湾最多不出三月，其必为若辈自取灭亡矣。悲乎？奈何。《蒋介石日记》（手稿本），1950年2月15日。

面对这种情况，蒋介石不得不加紧军事改组的步伐。元旦期间在日月潭谋划时，整理军事就是蒋考虑的重要问题之一，他审阅关于未来军队组织与训练的方针，“计划今后军队党务与政工关系及组织方案，与提倡模范官兵与部队计划，皆为目前整军基本要务也”《蒋介石日记》（手稿本），1950年1月2日。。

3月9日，蒋介石在蒋经国、俞济时的陪同下，离开台北举行“复行视事”后的第一次出巡，至高雄左营海军基地检阅海军部队。海军总司令桂永清进行了精心安排，巡视的蒋介石被“总统万岁”和“誓灭共匪”的口号包围着。下午3时，蒋介石又到海军全代会致词。首先由代表会主席团全体代表向蒋宣誓效忠：

余等谨代表海军全体官兵，竭尽赤诚，誓死效忠总统蒋公，并在桂总司令领导下，集中意志，团结力量，达成反共抗俄，救国救民之使命。如违誓言，人人得而诛之。

通篇誓词，特别是后几句，不禁使人想起昔日的封建会道门，可此类表现对蒋个人“效忠”的誓词，却常常出现在20世纪50年代台湾的军队里。蒋听完这誓词后非常感动地对士兵们说：“我接受你们的宣誓，我接受你们的决议，我要领导你们走到成功的路上去。”《中央日报》，1950年3月10日。

接着，桂永清代表海军将写有“民族救星”的旗帜献给蒋介石。随后蒋向参加大会的代表致训词：“海军要能确保反共抗俄的基地，成为陆空军反攻大陆光复祖国的先锋，则必须本同舟共济的精神，先求本军各单位间精诚团结，协同一致。”在训词的最后，蒋介石表示：“我一定引导大家在一个主义、一个目标、一个历史、一个生命的前提之下，和我海军全体官兵同生死，共患难，坚强奋斗来完成我们反共抗俄、复兴我们中华民族的历史使命。”《中央日报》，1950年3月10日。

结束左营之行后，蒋介石正式开始了军事改组工作。根据蒋介石的指令，“东南军政长官公署”被撤销，其业务归并“国防部”及其他相关单位，台湾防卫司令部和陆军训练司令部归并于陆军总司令部，东南区海军司令部、空军司令部和补给司令部归并于各该司令部。此前，溃不成军的陆军装甲兵司令部已经被缩减成装甲兵旅，由蒋介石的次子蒋纬国任少将旅长。《中央日报》，1950年3月4日。这对于简化指挥机构，提高行政效率是颇有益处的。