二十八师后改番号为第二十五师，张自忠仍从任。
1927年，张自忠为第二十五师师长兼西北军官学校校长和开封戒严司令。在北伐战争期间，他不曾上前线率兵打仗，而主要致力于训练部队。
在精神教育方面，他注重中国传统的道德精神、爱国精神和军纪精神的教育，主张官兵读书，力图官兵了解中国受帝国主义列强侵略的历史，要求人人会唱国耻歌、爱民歌、悔改歌等。他还在任人思想上宣传“唯才是举”，常用“将相本无种，男儿当自强”等语激励下级官兵发奋向上。
在军事训练方面，他注重耐苦精神的锻炼和体力、技术的提高。他说：战争之事，或跋涉于冰天雪窟之间，或驰骋于酷暑恶瘴之乡，或露营于雨雪，或昼夜趱程。寒不得衣，饥不得食，渴不得水。在枪林弹雨之中，血肉横飞，极人世所不见之惨，受恒人所不经之苦。这种精神和体力，非于平时养之有素，综之有恒，岂能堪此。练兵之宗旨，以能效命于疆场为归属，应于平时竭尽手段，以修养其精神，锻炼其体魄，精娴其技术，临阵才能有恃无恐。故习劳忍苦为治军之第一要义。张自忠练兵除坚持刺杀、投弹、射击等科目训练外，还非常重视军体项目的训练，要求人人都会跑阻拦、越障碍、跳木马、过天桥，以及单杠曲身上、摇动回转、拿大顶这“三大套”，以此锻炼官兵的坚韧性、平衡性和灵活性。
在一年训练中，他又特别注重抓两个时节的训练，即“夏练三伏，冬练三九”。三伏盛夏，官兵每天要著内外两层衣裤，衣冠齐整地在酷暑中操练四个小时；严寒冬日，官兵只准著短衫裤，外套棉衣在冰天雪地中训练，张自忠还曾亲自带领军官学校的学生在雪地里赤足行军。张自忠特别瞧不起那些经看不经打的部队，对蒋介石教育训练那一套也颇有微词。他曾对人说过：“南京蒋介石办的军官学校，学员的生活待遇太优厚，培养出的学生是经不起大的战争考验的。
张自忠身为长官，平时坚持和士兵穿一样的衣服，吃一样的大锅饭，推一样的光头，并且一样参加劳动。士兵负伤生病，他关心爱护；官兵有困难，他设法帮助解决。军队驻于西北，地瘠民贫，张自忠既要防手下军官“穷”跑了，又要防这些人有了钱“富”跑了。他在理财上做到，军官困难，有求必应，但严格掌握部队兵员实力，防止官长吃空名贪污。在官居显赫之后，他仍十分关心下级。有个士兵因家境贫穷把老婆卖给了妓院。张自忠知道后，立即令人用钱将这个士兵妻子赎了回来，这士兵为此感激涕零。对少数民族，张自忠也十分尊重其生活习俗和宗教信仰，还特为回民士兵另外建立了伙房，并由他们自行管理。张自忠这样做，不但受到部属官兵的拥戴，而且为地方百姓、特别是少数民族群众所称赞。在治军赏罚上，张自忠也继承了冯玉祥的作法。对违犯军纪、放纵不法的官兵，他特别憎恨，常常处以打军棍的惩罚，而且他常常亲自操械执行体罚，把部下打得皮开肉绽、头破血流。所以，军中官兵私下亦称他为“张剥皮”。
1928年，张自忠亲自指挥部队行动，铲除了在辛亥革命中出卖革命党人的少将旅长张建功父子。早在1911年和1912年，冯玉祥与王金铭、施从云受革命思想影响，秘密组织“滦州起义”。当时的第二十镇七十九标第三营管带张建功表面上同意起义，暗地却将消息密报标统范国璋。当起义部队开拔时，张建功竟引兵登城截击。“滦州起义”很快就被镇压下去，王金铭、施从云与另外十四名起义者被清廷处死，冯玉祥亦被囚禁。张建功出卖革命的行径，为冯玉祥和张自忠所痛恨。张自忠伺机处死叛徒。实为辛亥革命的死难烈士报了仇雪了恨。
