五四运动使廖乾五的政治生活发生重大转折。1921年8月，经早期共产党人包惠僧、李汉俊介绍，同施洋等人参加武汉马克思学说研究会。次年在董必武、陈潭秋的影响下，加入中国共产党。1923年2月初，他和项英、许白昊、陈潭秋、施洋、李之龙等领导了汉口江岸铁路工人的罢工斗争。在“二七惨案”中，同项英侥幸脱险。11月20日，代表武汉通报社出席湖北全省国民外交协会成立大会。12月30日，任新成立的国民党汉口市党部筹备处副主任。1924年1月，廖乾五出席了标志国共合作正式形成的中国国民党第一次全国代表大会。会后，代理国民党汉口执行部宣传部长。4月，担任中共汉口地方执行委员会委员（委员长为包惠僧）。5月13日，设在汉口德润里23号的地委机关遭敌破坏，廖乾五机智脱险，到上海向中共中央汇报工作。中央决定包惠僧、廖乾五到广州参加军事工作。
1924年8月，孙中山创建“大本营航空局铁甲车队”，中共广东区委选派廖乾五任政治部主任，包惠僧兼任政治教官。11月底，广东革命政府接受苏联军事顾问的建议，改组铁甲车队，易名为“建国军大元帅铁甲车队”，廖乾五任党代表（后一度兼任卫士队党代表），并兼任该队中共党小组长。在中共广东区委的领导下，廖乾五、徐成章（队长，中共党员）、周士第（副队长，经廖、徐二人介绍加入中国共产党）等对全队官兵进行严格的军事、政治训练，充分发挥党小组的战斗堡垒作用，使铁甲车队成为我党最早掌握的一支革命武装力量。改组后的铁甲车队，在武装支援广宁农民减租运动，配合东征军平息滇桂军阀杨希闵、刘震寰叛乱，支援省港大罢工的沙鱼涌战斗等军事斗争中，做出重要贡献。中共广东区委以及毛泽东、邓中夏等领导同志曾给予铁甲车队很高的评价。
1925年7月，改组后的国民政府将所辖军队统编为国民革命军，10月举行第二次东征。11月，中共广东区委军事部长、东征军总政治部主任周恩来经多方努力，征得国民革命军第四军军长李济深的同意，以铁甲车队为基础，组建该军第十二师三十四团（北伐前夕改称第四军独立团），廖乾五升任第十二师政治部主任（上校）。到任后即和副师长张发奎率部南征邓本殷部。由于廖乾五率领政治部在十二师卓有成效的政治工作，官兵纪律严明，奋勇作战，很快肃清雷州半岛残匪，翌年渡海作战，消灭了邓本殷部，收复海南岛，统一广东全省，广东革命根据地得到巩固，为北伐战
