1926年任第4军党代表兼政治部代主任、主任，率部参加北伐战争，转战湘、鄂、赣、豫诸省，参与指挥攻占平江、汀泗桥、贺胜桥、武昌、马回岭、九江等战斗。第4军在北伐战争中征程万里，能攻善战，所向披靡，与廖乾五领导的政治工作是密不可分的。他十分重视发挥党员的骨干作用，注重部队的思想政治教育，注意发动和组织民众。时任中共中央军委书记的周恩来曾说：北伐军的许多政治部中，以四军政治部成绩最好。

    1927年7月下旬奉命赴九江参加武装起义准备工作，不久参加南昌起义，协助叶挺指挥部队行动。起义后任革命委员会总政治部秘书长、宣传委员会委员，第20军党代表。南下途中和周逸群共同介绍第20军军长贺龙加入中国共产党。同年10月经香港到上海，在中共中央军事部工作。1930年夏任中共湖南省委军委书记，到任不久被捕。他坚贞不屈，绝口不谈党的任何机密。敌人惧于他的威望和声誉，不敢公开审讯，于同年9月3日被秘密杀害于长沙，时年44岁。