1937年“七七”事变后，日本帝国主义大举侵略中国，中国共产党领导的抗日战争爆发了。马本斋领着弟弟和几十名群众，为了保卫家乡，抗击敌寇，也组织了回民抗日武装，同日本侵略者进行斗争。1938年初马本斋和党取得了联系。7月在吕正操支持帮助下，成立了回民干部教导总队，马本斋任总队长。在党的领导下，马本斋对队伍进行了整顿，加强了党对部队的领导，队伍很快由三四百人发展到六七百人，在党的教育下，马本斋加入了中国共产党。

  1939年初，华北城镇相继沦丧，马本斋仍在河间、青县、沧县一带坚持抗日斗争。1939年秋，回民教导总队改名为回民支队，马本斋任支队司令员。在他的领导下，回民支队在武器弹药不足的情况下，在定县、无极、深县等地仍然打了许多胜仗。由于马本斋指挥有功，战果显著，八路军冀中军区授予回民支队“攻无不克，无坚不摧，打不挎，拖不烂的铁军”的锦旗。

为了招降马本斋，消灭回民支队。1941年秋天，敌人包围了东辛庄，抓走了马本斋的母亲。敌人威逼马母，让她说服儿子放下武器，但受到了马母的痛斥，她拒不进食，最后光荣牺牲。1942年5月1日，日寇纠集了五万兵力向华北平原实行大“扫荡”。当时，马本斋率领回民支队在景县一带活动，为了避开敌人的合围，马本斋奉命巧妙地转移到阜城县，不但躲过了日军主力，还乘机消灭了三百多敌人。1944年初，回民支队奉命调往延安。但是多年来的战争生活使马本斋积劳成疾。这时，他患有急性肝炎，不能随部队一块前往。此期间，毛泽东也非常关心马本斋的病情，曾从延安发电慰问。但在当时艰苦的环境下，马本斋病情日渐加重，2月7日马本斋在山东莘县逝世，终年四十三岁。

  马本斋逝世后，延安各界三百多人举行了追悼大会，毛泽东题了“马本斋同志不死”的挽联；朱德的挽联是：“壮志难移回汉各族模范，大节不死母子两代英雄。”周恩来的挽联是：“民族英雄，吾党战士”。