西安事变和平解决后，1936年12月25日，张学良送蒋介石回南京，从此一去不复返，于是轰轰烈烈的壮举之后便揭开了千古遗恨的悲剧序幕。近20万东北军群龙无首，并在主战主和问题上发生严重分歧，最后竟发展到内部残杀。
1937年2月2日，不顾大局的东北军少壮派应德田、苗剑秋、孙鸣九等人杀死东北军元老派67军军长王以哲、西北总部参谋处处长徐方、副处长宋学礼和交通处长蒋斌等人。血案发生后，王以哲的至交、第105师师长刘多荃为了替王以哲报仇，将部队开进西安搜捕少壮派军官，诱杀了对促成东北军联共抗日有功的旅长高福源，致使内部残杀的悲剧愈演愈烈。危急关头，中共代表周恩来苦口婆心多方做工作，才避免了事态的进一步扩大。
1937年3月东北军高级将领轻率地接受了蒋介石提出的东北军东调的“乙案”，钻入了各军不相统属、部队分割使用的圈套。东北军遂东调，分驻豫南、皖北、苏北地区。4月到6月，南京政府对东北军进行整训、缩编，化大为小，化强为弱，由每军四师的甲种军缩编成每军二师、每师二旅的乙种军编制，仅骑兵第2军保留三个师。
整编后的东北军有6个军：第49军，军长刘多荃，辖第105师（师长高鹏云）和第109师（师长赵毅）；第51军，军长于学忠，辖第113师（师长周光烈）和第114师（师长牟中珩）；第53军，军长万福麟，辖第116师（师长周福成）和第130师（师长朱鸿勋）；第57军，军长缪徵流，辖第111师（师长常恩多）和第112师（师长霍守义）；第67军，军长吴克仁，辖第107师（师长金奎壁）和第108师（师长张文清）；骑兵第2军，军长何柱国，辖骑兵第3师（师长徐良）、骑兵第4师（师长王奇峰）和骑兵第6师（师长刘桂五）。
西安兵谏后叛离东北军的第106师（师长沈克）、骑兵第10师（师长檀自新）、炮兵第6旅（旅长黄永安）、炮兵第8旅（旅长乔方）均依附蒋军另立门户。原由东北义勇军编成的冯占海的第63军番号被撤销，仅保留了第91师。另外，抗战爆发后，马占山还受命组建了一支新的部队——东北挺进军。
在抗日战争和解放战争中，东北军被蒋介石分割使用于各个战场，逐步被削弱、肢解、消灭，也有一部分在战场上起义，走向了新生。 1937年8月中下旬，日军开始沿津浦路大举南犯。刘多荃率第49军进驻沧县及静海附近。8月21日，由日军第10师团步兵第10联队主力组成的右侧掩护队，开始向静海前进。49军之一部立即加以阻击，与敌发生激烈战斗。日军以猛烈的炮火向静海轰击，49军守军奋力抵抗不支，被迫向南撤退。
1937年10月底，49军被调到淞沪战场。105师在钱江弄、江桥一线坚守阵地，遭到日军重火力猛攻，626团团长顾忠全阵亡，该团一营伤亡过半。109师在纪王庙、马同桥一线与数倍日军苦战，四个团长中高睦姻、姜奎举等三个团长相继阵亡，营长伤亡了2/3。109师一个整师基本打光了。
尽管第49军损失惨重，但蒋介石在战后根本不理睬其整补的要求。万般无奈之下，刘多荃带着109师师长赵毅亲自到武汉去活动，花了好大一笔钱才打通了门路，调来了全部徒手的预5师补充109师。预先讲好条件，赵毅仍为109师师长，原预5师的团长以上主官全部留任。
刘多荃将张学良当年留用的一部分武器装备该师。补充后的109师一式捷克式步枪，每连六挺捷克式轻机枪，每营配有重机枪连，团有迫击炮，堪称装备精良的生力军。然而刘多荃、赵毅高兴得没多久，在一次下命令让109师开拔时，原预5师留任的四个黄埔生团长全部告长假，部队一点也开不动。
事情反映到蒋介石那里，蒋介石非但不处分故意捣蛋的团长，反而借机将赵毅撤职，换上了嫡系李树德，刘多荃任命的其他东北军军官也都被撤换掉，接着又将109师划归第1战区刘峙指挥。49军的一个整师就这样被剥离。1939年大批日军猛攻南昌，刘多荃率部守御松山、万家埠一线。由于修水作战失利，又被蒋介石借题发挥，揪住不放，对49军大加挞伐，刘多荃由中将军长降为上校军长；105师师长王铁汉撤职留任，责令戴罪立功；副军长高鹏云、参谋长秦靖宇相继调离，另派中央嫡系林耀堂和凌振仓分别继任。 1937年8月，第51军被调往山东，负责海防守备，于学忠任第3集团军副司令兼第51军军长。1938年1月升任第3集团军总司令，不久又改任第5集团军总司令。
1938年1月，日军调遣16个师团共计23万兵力，沿津浦铁路一南一北，分两路夹击战略重地徐州。于学忠以51军两个师的兵力约2.5万人，死守蚌埠，血战临淮关，顶住了日军3个师团共计4万人的疯狂进攻。在连续8天的防守中，51军伤亡七千余人，但他们守住了淮河，日军的伤亡达九千人以上。
淮河战役后，于学忠率领疲劳之师增援台儿庄，任中央兵团副总指挥，在率部智取韩庄、争夺贾家埠、血战禹王山的战斗中再立战功。徐州撤退时，于学忠率部垫后，该部被敌人分割包围，切成数段，但他指挥部队浴血奋战，终于杀出重围，胜利完成了掩护任务，受到第5战区和国民政府军事委员会传谕嘉奖，并晋升为一级上将。
1938年6月，51军奉命参加武汉会战，于学忠任第3兵团副总司令兼第5集团军总司令，在大别山麓与日军激战。武汉失陷后，于学忠率部开往大别山打游击，袭击敌人后方，并在金家寨一带进行休补。
1939年2月，于学忠被任命为鲁苏战区总司令，指挥东北军51军、57军到鲁南山区打游击。此间他不再兼任51军军长职务，114师师长牟中珩升任军长。从1939年到1943年，在鲁南抗战5年中，于学忠部伤亡惨重。
1944年3月，于学忠被免去苏鲁战区总司令的职务，任国民政府军事参议院副院长，从此失去军权。牟中珩在1944年12月调任第10战区副司令长官后，原113师师长周毓英继任第51军军长。
解放战争时期，第51军被改为整编第51师，周毓英任中将师长，驻守枣庄。1947年1月，周毓英率整编第51师师部向我华东野战军投降。牟中珩在1946年出任第二绥晋区副司令，1948年9月在济南战役中被俘。1949年初，蒋介石曾胁迫于学忠去台湾，在中共地下党人的帮助下，他避居四川重庆乡间。建国后，于学忠曾任第一届全国政协委员、国防委员会委员、河北省人民委员会委员、河北省体委主任等职。 “七七”事变后，万福麟任第1集团军副总司令兼第53军军长，负责平汉线以北永定河及大清河一线的防守。在日本侵略军的猛烈攻击下，万部损失惨重，被迫退出战场，孤军游击于太行山区。1939年2月，万福麟重整部队，参加了豫北、豫东的对日作战。6月，武汉会战开始，万福麟任第26军团军团长兼第53军军长，负责防守德安、星子一线。
9月，在鄂东南大冶、阳新一线抗击来犯日军，苦战数日，敌人受到重创，其本部亦伤亡惨重。武汉会战后，第53军奉命休整补充，万福麟调赴重庆任国民政府军事委员会委员，军长职务由周福成接任。1943年，53军被编入远征军第20集团军对日作战，为打通中国云南至缅甸的国际交通线滇缅公路作出了突出贡献。
解放战争时期，1948年11月，周福成在辽沈战役中率53军官兵投诚。万福麟则在1949年逃往台湾。原53军副军长黄显声，在西安事变后为营救张学良将军奔走呼号，1938年被国民党逮捕，1949年11月27日在重庆被国民党特务杀害。
1937年10月10日，第53军116师346旅691团在华北战役中完成掩护主力部队撤退任务后，与大部队失去联系，在团长、共产党员吕正操的带领下，于晋县小樵镇改编为人民自卫军，毅然北上在冀中平原打游击。后来这支部队正式编为八路军序列。吕正操创建的冀中平原抗日根据地，在反“蚕食”和反“扫荡”斗争中，创造了平原游击战争史上辉煌灿烂的一页。 1937年11月，缪徵流的第57军奉命驻防南通、启东、海门、如皋、靖江一线的江防要点。112师在无锡附近与敌接战，紧接着又参加了巩卫江阴、固守镇江的战斗，损失较大，师长霍守义负伤，全师撤往江北。12月10日，112师开赴南京前线。12日，日军向南京发起总攻，112师671团、673团在南京城北长江一线阵地阻击日军，伤亡惨重。第112师副师长李兰池在率队冲锋时于南京太平门附近中弹壮烈牺牲，后被国民政府追谥为少将。
11月间，第57军的第111师在靖江、扬州一线抗击登陆日军，打响了靖扬之战，几次战斗均极为激烈。1937年11月25日拂晓，日军以猛烈炮火轰击长江北岸111师阵地，占领施家桥，掩护大批日军登陆，旋又占领了都天庙。
111师333旅的万毅部全部退守横沟桥。上午8时，日军沿扬州城公路向333旅阵地冲击，111师师长常恩多亲率两营官兵与敌浴血奋战。酣战之际，常师长又果断地命令662团出击，连续击退日军步兵的三次反攻。日军遂调来坦克在前面开路，后继以步兵再次冲向111师阵地。常师长指挥士兵以平射炮和集束手榴弹向敌坦克猛轰，并以猛烈火力向日步兵射击。战至下午4时，日军狼狈逃窜。111师乘胜追击至施家桥。
1938年3月，在台儿庄战役中，57军的333旅奉命驰援守卫山东临沂的庞炳勋部。面对日军精锐坂垣师团，333旅官兵毫不畏惧，血战15昼夜，先后攻克敌人三个据点。战斗中，333旅伤亡官兵一千多人，有的营只剩下十余人，有的连队军官全部伤亡，由军士自动代理连长作战，前赴后继，战斗不止。日军亦伤亡惨重，伤亡2000多人。为此，333旅受到会战总指挥部的通电嘉奖，57军亦通令全军，称之为“解临沂之围，壮本军之誉”。
1939年2月，57军被调到鲁苏战区，在于学忠指挥下在敌后进行游击战。在此期间57军的高级将领开始走向反动。1940年9月15日，57军军长缪徵流同日军代表谈判，商定了“互不侵犯，共同防共”的秘密协定。这件事被111师师长常恩多和333旅旅长万毅获悉，常恩多和万毅都是中共地下党员，两人秘密拟定了除奸方案。
1940年9月22日晚，常恩多和万毅带人抄了军长缪徵流的军部，抓获了副军长朴炳珊及与日军签订协议的谈判代表，缪徵流仓皇出逃。但蒋介石不仅不将通敌人员严办，反而斥责常恩多“不识大体”，还撤销了57军番号，111师、112师直接由鲁苏战区指挥，并阴谋瓦解111师。1942年8月3日，111师一部在常恩多、万毅和鲁苏战区政务处长郭维城的率领下，在日伪顽反共嚣张的严峻时刻，毅然宣布起义，参加八路军。在奔赴解放区的途中，常恩多牺牲在担架上。
为维护统一战线，起义部队仍用第111师番号，师长为万毅，副师长为郭维城。1944年10月20日，该部队正式改编为八路军滨海支队，万毅为滨海军区副司令员兼滨海支队支队长。1945年8月，滨海支队与其他山东的八路军部队组建成“东北挺进纵队”，在纵队司令员万毅指挥下挺进东北。部队克服重重困难，配合周保中同志率领的抗日联军，肃清敌伪势力，建立民主政权。
在解放战争中三下江南，四保临江，血战四平，参加了伟大的的辽沈战役、平津战役，一直打到海南岛。抗美援朝时又作为38军的组成部分，在松骨峰战役中痛歼美军，打出了中国军人的威风！志愿军彭德怀司令员在嘉奖通电最后特意加了两句：“中国人民志愿军万岁！38军万岁！” 1937年8月下旬，吴克仁满怀报国之志昂然请缨，率67军奔赴华北前线的河北大城，在西起姚马渡、中经马厂迄小卫庄一线构筑阵地防守。9月1日，日军第6师团在飞机、重炮掩护下，猛攻67军的大城防线。吴克仁指挥全军与敌血战十日，日军屡遭重挫无法前进。当日军增派二十余艘汽艇，载有山炮、机枪等重武器溯子牙河偷袭时，又被67军预先埋伏在姚马渡的部队兜头猛击，第一艘汽艇首先被击沉，后续敌艇也被分段截击。
日军船队虽凭借重火器反扑，又派飞机助战，但在67军沉重打击下，终于溃不成军，被击沉汽艇五艘，毙伤三四百人后狼狈逃窜。日军恼羞成怒，又调集二十余门火炮、五架飞机，出动三千余人，于20日再次猛攻67军正面。吴克仁亲临前线，指挥御敌，敌我双方竟至演成肉搏。67军官兵终以重大牺牲压倒敌焰，粉碎了日军强大攻势。大城防线鏖战月余，67军以伤亡两千余人的代价重挫敌锋，歼敌数千，并阻扼敌军南犯，掩护了友军安全撤退，受到最高长官部的通电嘉奖。
1937年10月底，淞沪战场中国军队处于不利地位，蒋介石急从华北战场抽调第67军南下增援。11月5日，67军临危受命，协同第43军郭汝栋部“抢占松江，死守三日”，掩护主战场上的中国军队撤退。8日夜12时，“死守三日”的军令已经完成，吴克仁让郭汝栋率百十人的43军残部先撤，他亲自率67军在后掩护。经一路突围苦战，9日下午吴克仁率部到达苏州河边白鹤港。不料苏州河大桥被炸断，吴克仁冒着敌机狂轰滥炸指挥属下先行泅渡。
傍晚时分突有一支日军便衣队袭至，交战中吴克仁不幸中弹落水，光荣牺牲，时年43岁。这是抗战开始后正面战场上第一位为国捐躯的国民党军中将军长！整个保卫松江和突围战役，67军光荣战死的还有军参谋长吴桐岗、师参谋长邓玉琢、322旅旅长刘启文、321旅旅长朱之荣和王熙瑞等八名团长以及绝大多数的营、连、排长，107师损耗殆尽，108师也伤亡惨重。
然而，这样一支忠勇报国的部队，不仅没有得到应得的褒奖表彰，却被别有用心的宣传机构诬蔑为“吴克仁率部叛乱，67军临阵投敌”，蒋介石乘机取消了67军番号，缩编为108师，师长为张文清，拨归中央军王敬久的第25军。 1937年8月下旬，骑兵第2军调晋绥前线与日军作战。军长何柱国率骑3师（骑6师在绥远作战，归马占山指挥；骑4师一直驻河北，1938年因缺少马匹，骑4师被改为步兵第24师，至此骑4师番号被撤销）从陕西经同蒲路北上，增援大同，归第18集团军总司令朱德指挥。
大同失守后，骑兵第2军退到晋西北平鲁一带抗日。9月下旬在井坪镇一役中，骑兵第2军被日军击溃，损失很大。1939年冬，骑兵第2军奉令换防到豫皖边的沈邱、项城一带，归第1战区前方指挥官孙桐萱指挥。
1940年，何柱国升任第15集团军总司令，由骑3师师长徐良接任骑2军军长。以后骑6师归还建制，又合并骑3师和骑6师，保留骑3师番号，由王照问的暂编第14师廖运泽部拨归骑兵第2军建制。1944年，徐良升为第15集团军副总司令，骑兵第2军军长由非东北军系的暂编第14师师长廖远泽升任，骑3师师长王照骑2军副军长，所遗骑3师师长由徐长熙升任。
抗战胜利后，骑兵第2军开赴济南。1946年，王耀武任第2绥靖区主任，将骑兵第2军改为第96军，仍以廖远泽为军长，所属的骑3师改为暂编第15师，这样，骑兵第2军的番号不复存在，东北军骑兵军名实全亡。
何柱国在抗战胜利后双目失明，退役养病。建国后历任全国政协委员、常委等职。
1955年，中国人民解放军第一次授衔时原东北军出身的将领有25名被授予将衔，其中上将1人：吕正操；中将1人：万毅；少将23人：解方、陈锐霆、贾陶、沙克、封永顺、赵东寰、于权伸、赵承金、高存信、李觉、徐明、宋学飞、金振钟、张志毅、杨有山、张加洛、罗文、纪亭榭、管松涛、郭维城、王振乾、江潮、张学思（张学良胞弟）。