1897年，承甲午败绩，国事日颓，英、德、法、俄、日等帝国主义列强，纷纷染指，妄图瓜分中国。日本强迫清政府订立关于结束中日甲午战争的马关条约。俄、法、德三国以迫使日本交还辽东半岛有功向中国索取报酬，德国租占胶州湾，俄国强租旅顺、大连，法国租占了广州湾，而英国强租九龙与威海卫。帝国主义强盗的协议既成，清廷乃派大员乘通济舰去山东，办理接收和转让手续，张伯苓随舰前往。船到威海卫的头一天，降下日本的太阳旗，升起中国的青龙旗。第二天，又降下中国的青龙旗，升起英国的米字旗。张伯苓目睹这场“国帜三易”的接收和转让仪式，亲自尝受了这一丧权辱国的场面，气愤填膺，五内俱裂。他从威海卫归来之后，认为海军报国无望，决定退役。
甲午之战是中国大失败的开始。海军军舰全军覆没，这次大失败的教训，激励了张伯苓的志气，坚定了他一生的爱国热忱。当时科举虽还未废， 而要求变法维新以求富强，已成为一般有志青年的愿望。张伯苓决心创办新式教育。适值天津名绅严范孙倡办新学，1898年乃延聘张伯苓主持严氏家塾。张伯苓结识严范孙，对其后来南开一系列事业的创立与发展影响很大。
张伯苓在严馆执教时期除教授学生学习英文、数学和理化外，并提倡体育。那时没有体育设施，就在院子里放两张木椅，上面架一个鸡毛掸子的长竹杆，作为跳高的横杆，让学生把长辫子盘在头上，撩起长袍的衣襟，学跳高。这在当时却是令人耳目一新的罕见之举。
1901年，即义和团运动的次年，天津邑绅王奎章也聘请张伯苓教其于侄，是谓“王馆”。
张伯苓在严、王两馆，循环往复，诲人不倦。两馆教法大体相同，只是附读学生逐年增多，设备及教法都还不完备。
1903年，张伯苓有感于日本蕞尔小邦，居然胜中国，挫强俄，一跃跻身于世界列强，必有所以致此之道，不可不往一观。在严修、王奎章的大力支持下，张伯苓乘暑假航海东渡，亲眼看到日本明治维新后的盛况，领略了日本对教育的重视及办学规模和教育方法，深受启发。
1904年 5月，张伯苓和严修二渡扶桑，经过四个月的细心考察后回国，决定成立中学。遂将严、王两馆合并，成立“私立中学堂”。从此他结束了家塾先生的生涯，成为学堂的学监，开始一展他的宏愿。
张伯苓自1904年创办南开中学以来，到1917年学生已满千人，中学基础日臻巩固，教育设施逐渐完善。每看到各届毕业生依依不舍地离开学校，他觉得应该向大多数学生提供继续升学的机会。社会的需要，使他认识到：“普通教育仅为国民教育之初步，创办高等学校乃是国家发展的根本大计”。于是他决心赴美学习和考察。
1918年，适逢严修与范静生也赴美，张伯苓乃与严、范遍游美国各地，考察了许多私立大学的组织和实施。12月，张伯苓与严修游美归国。不久便积极筹募经费，并获徐世昌、黎元洪等人及天津士绅之助，开始筹划创办南开大学。1919年春，在中学南端空地建大学教室，当年秋季落成。
1919年9月5、6日，举行大学新生人学考试，25日正式上课。
南开大学创办伊始就建立了理科。那时北京、上海开创许多私立大学，都是只办文、法、史、地、国学等文、法科，教师抱的是线装书去上课，而张伯苓专请留美多年的凌冰博士为大学部主任，除开设文科外，还设理科和商科，后来改称文、理、商三个学院。这在当时也是十分难得的。
南开大学的兴办和发展，对张伯苓来说，并不意味着兴办教育的终结。建立一个完整的南开教育体系，才是他兴办教育的宏伟大略。
张伯苓于1923年建立了南开女中。接着在1928年，张伯苓又兴致勃勃地在女生校舍对面建筑小学校舍，设立了小学部。
为开展学术研究和造就高层次人才，张伯苓在兴建和完善女中和小学之后，又分别于1927年和1932年创办了南开经济研究所和应用化学研究所，从而构成了一个完整的南开教育体系。
张伯苓既以办学为救国的手段，故早就不以在天津创办学校为满足。1931年以后，日本军阀在华北屡生事端，他看到两国终不免一战，而天津定首当其冲。及至1935年，华北局势日益危急。张伯苓深为忧虑。1935年，他亲赴重庆考察后，决心在重庆建立南开中学。1936年夏，校舍落成，定名“南渝中学”。并于当年九月开学。
抗日战争爆发之后，国共两党建立起抗日统一战线。 1938年，国民党政府在全国人民要求团结抗日的压
