1931年9月18日，日本发动九一八事变。目睹山河破碎，國土沦丧，同胞受难，富有爱国思想的李兆麟心中燃起了愤怒的火焰。他暗暗发誓：决不当亡国奴，要走抗日救国的道路。恰在此时，在北平（今北京）参加东北民众救国会的姨夫张一吼写信给李兆麟，让他到北平去。当李兆麟向母亲述说了自己想去北平参加抗日救国活动的心愿后，母亲劝阻说：“你爸爸去世早，全家大小事情就靠你一个人支撑，你走了家里怎么办？”李兆麟十分理解母亲的心情，他耐心地说：“日本人今天占领了奉天省，明天就要吞并东三省，然后就要灭亡全中国。没有国，怎么还能有家啊！古人都知道，‘国家兴亡，匹夫有责’，我是一个青年人，怎能眼看着敌人宰割我们的国土不挺身而出呢？”这时，李兆麟已成了家，妻子也支持他的决定。在儿子儿媳的坚持下，母亲只好同意。于是，李兆麟卖掉一车大豆作路费，于1931年11月告别亲人，奔赴北平。在北平，李兆麟参加了东北民众救国会，进行革命活动。
　　1932年2月初，李兆麟与共产党员冯基平等根据党组织的指示从北平回家乡组织抗日武装。回到辽阳后，李兆麟利用同乡和同学的关系，公开出面串联，经常往来于“燕子”队、“长江”队、“平日”队、“天地容”等各种名目的民众抗日义勇军队伍之间。同时还联合辽阳二区区长苏景阳共同成立了东北民众抗日义勇军第二十四路军。苏景阳为司令，李兆麟为副司令，下设5个支队，共3500余人。由于司令苏景阳怕受牵连，始终不出面，队伍实际上掌握在李兆麟和从北平派来的党团员手中。
　　第二十四路义勇军成立后，以小堡为中心，在辽阳和沈阳、本溪之间的广大地区开展了轰轰烈烈的抗日救国斗争。3月底，该部攻打铧子矿日伪警察队，活捉了当时正在该矿的伪昭和制铁所采矿课课长久留岛秀三郎。接着，又歼灭了投靠日伪的土匪队“洪盛团”130余人，击溃了勾结日军的地主武装“南大会乡团”千余人，歼灭了从辽阳窜到贵子山的日军守备队数十人。第二十四路义勇军对敌斗争的一连串胜利，大大鼓舞了当地民众的抗日救国热情，许多百姓纷纷加入义勇军，到1932年六七月间，队伍已发展到6000多人。
　　1932年8月28日，李兆麟率领第二十四路军会同活动在沈阳郊区的第二十一路义勇军，共同攻打了日伪重兵防守的沈阳。28日晚，各路义勇军按计划向沈阳发起进攻，并在投诚的伪警察接应下，于23时攻到城外大南门附近。由于日伪军阻击火力较强，义勇军未能破城。攻打东塔机场的义勇军攻入机场，烧毁东塔机场日军飞机7架。天亮前，各部义勇军撤出战斗。义勇军这次攻打沈阳的战斗，有力地打击了日伪统治者的气焰，在全国产生了广泛影响，国内外许多报纸都对此进行了报道，振奋了人民群众的抗日热情。
　　李兆麟在组织义勇军开展抗日斗争的同时，还配合冯基平等在辽阳小堡一带组织农民开展抗日救国活动。他们建立起了“反帝大同盟”“农民大同盟”“穷人会”“妇女会”和“少年先锋队”等群众组织，开展抗租抗息、分粮吃大户、罢锄斗争，反对汉奸地主的剥削压迫。李兆麟不仅自己参加革命，还把母亲、妹妹和堂兄弟等亲属也都动员起来参加抗日救国的宣传活动。他把家里的钱拿出来做活动经费，到沈阳买回来两台油印机刻印传单，然后组织农民和儿童中的积极分子利用庙会的机会进行散发。由于李兆麟等党团员的积极工作，小堡附近几个村的农民经常集会，高唱《救亡之歌》《工农兵之歌》等革命歌曲，视野大大开阔，觉悟有了明显提高，一时间呈现出广大农民扬眉吐气、积极拥护和参加抗日救国活动的大好局面。