中国正式爆发抗日战争后，国民党开辟的正面战场对侵华日军带来了重大打击，同时，在抗日的统一战线中，由中国共产党开辟的敌后战场同样为抗战的最终胜利做出了巨大、不可磨灭的贡献！
日军在1931年占领内蒙古部分地区后，成立了四个伪蒙古骑兵师和大量的伪民团、伪警察部队，严重威胁到陕甘宁、晋西北和晋察冀抗日根据地的安全，面对日军侵略的铁蹄，中共中央在1938年5月做出了建立大青山抗日游击根据地的决策。根据决策，八路军120师决定将第358旅、715团和师直属的一个骑兵营组建成八路军大青山抗日支队；其中由358旅政委李井泉担任支队司令员，715团一营教导员彭德怀任政治部主任，358旅旅参谋长姚喆为支队参谋长。从1937年9月登上大青山，与蒙汉抗日游击队在绥中会合后，便开始了与日本侵略者长期艰苦的斗争。
大青山抗日游击根据地成立后，日军对根据地进行了多次“扫荡”，我军为了发挥作战优势，决定将步兵改为骑兵；对于珍贵的战马资源，一方面我们通过缴获伪军的战马补充自己，另外一方面，靠当地开明绅士和地主的募捐来进行填补；就这样，大青山根据地在很短时间内便组织起一支骑兵部队。
1938年12月，根据中央做出的“巩固华北，发展华中”的决定，大青山支队派出部队前往绥南、绥中和绥西三个地方开展工作，并很快组建起三个营的革命队伍；1939年4月，日伪军对绥中和绥南地区进行了“扫荡”；我军在姚喆的率领下从侧面、背面对日伪军发起了攻击，让日伪军无计可施，此时伪军又遇到国民党骑兵第六师，遭到了严重打击，彻底粉碎了敌人的阴谋企图。
1940年1月，因李井泉工作变动，姚喆接任了骑兵支队的司令员。此刻，正赶上阎锡山发动“晋西事变”，国民党绥远“民众抗日自卫军”也与日军勾结在了一起，对大青山根据地进行了破坏，姚喆面对这样的状况，沉着应对，正确指挥，一举打掉了“自卫军”的总部，歼灭了其主力，进一步巩固了大青山根据地；原先的三个骑兵营也扩建为三个团。
在战场上，姚司令与日军英勇作战，在内部，他还与伪蒙的各师建立了联系，其中还有部分伪蒙部队秘密为八路军提供武器弹药和其他军用物资。对此，贺龙将军曾经评价说到：“姚喆不但是‘姚一刀’，而且还有‘姚一手’，不但有勇，更加尚谋。这一点，彭大将军可能没有发现。”
1941年到1943年期间，日军曾经对大青山根据地进行了多次扫荡，其中在1942年的秋季，姚喆还成功粉碎了敌军3万人的“扫荡”计划，给日军以沉重打击！到了1943年的夏季，大青山地区在党政军方面的工作逐步得到恢复，也取得了对日作战的多次胜利，此时的姚喆也被任命为新成立的塞北军分区司令员。
1945年的7月，全面抗日战争胜利前夕，中共中央将塞北军分区改为绥蒙军区，姚喆任司令员，在后来的战斗中，姚喆将军打了很多胜仗，为抗战的胜利做出了重要贡献。1945年8月，姚喆遵照毛主席《对日寇的最后一战》指示，姚喆率军星夜兼程，配合晋绥军区和晋察冀部队攻打归绥，并且收复了平绥县上除了包头、归绥之外的所有重镇。直到日本帝国主义投降，大青山抗日游击战争也一同取得了最后的胜利。