1945年8月15日，日本宣布投降，但直到1949年，还有不少日军在中国的土地上作战。他们总人数曾达到1.5万人，他们武器精良，身穿国民党军装，但最终没有逃脱覆亡的命运。
阎锡山亲自动员日本兵
1945年8月中下旬，战败日军开始在中国各地向当地的国民党军政首脑投降。时任第二战区司令长官的阎锡山在蒋介石的授意下，以接受日军投降为名，将3万晋军集结在平遥一带，一边接收日军的物资装备，一边准备对解放区发动进攻。
当时，山西的日军第一军有5.9万人，阎锡山既想把这支部队的武器装备据为己有，又想将日军残部收编，以对抗共产党领导的八路军(1946年6月后，逐步改称为“人民解放军”)。1945年9月2日，日方派出代表、第一军参谋长山冈道武与阎锡山谈判投降事宜。谈判还没开始，阎锡山突然对山冈道武说：“日军虽然战败了，但素质优秀，希望能留下一部分日军负责保安工作。”面对阎锡山这一突如其来的要求，山冈道武有些不知所措，只好说：“我回去和第一军司令官澄田睐四郎中将商量一下，尽量满足阁下要求。”在各种因素的作用下，日军山西派遣军总部答应了阎锡山的要求，并由澄田睐四郎出任山西省总顾问，山冈道武出任副总顾问。阎锡山还下令成立了“第二战区司令长官合谋社”，下设军事处、经济处、总务处、文化处，均由日本人负责，以达到让战败日军自我管理的目的。
尽管如此，当时集结在太原的部分日军低级官兵急于复员回国，不愿留下。为此，阎锡山不仅派人到各部队游说，甚至煞费苦心地亲自到日军军营中演讲，鼓动日军加入晋军，并许以各种优厚待遇，对日军军官更是极力拉拢。看到一些厌战官兵对此仍无动于衷，阎锡山开始勾结日军总部进行威逼利诱。“合谋社”为此还特别放出风声：“如果留守人员总数达不到阎长官要求的1.5万人，就将在山西曾犯有杀人、掠夺、强奸等罪行的日军官兵作为战犯判刑，复员回国毫无希望。”有的日本兵还受到上司威胁———不服从命令者格杀勿论。这样一来，阎锡山终于留下了1.5万名日军。为对外保密，阎锡山一再否认侵华日军编入了晋军，还让这些日军穿上了国民党军装，并为其配发国民党军队的武器装备。在晋军中，有的日本军官甚至当上了旅团长。
阎锡山
陈赓亲手揪出一个穿国民党军装的日本兵
日军向阎锡山投降后，组成了所谓的暂编第十总队，总队长为日本人晋树德。大批日军高级军官则作为顾问、教官参与晋军的训练和指挥。这些人中有不少臭名昭著的战犯，亲手策划刺杀张作霖的日本关东军高级参谋河本大作就是其中之一。
完成收编工作后，自觉“兵强马壮”的阎锡山不断向八路军发动进攻。对此，我军给予坚决回击。1945年9月10日，上党战役打响，八路军毙俘阎锡山部队3.5万人。阎锡山不仅不甘心失败，还想借战斗力较强的日军将我晋冀鲁豫解放区一口吃掉。为彻底揭露敌人的阴谋，1946年初，国、共、美三方小组在山西调停内战时，陈赓将军作为中共代表严正指出，国民党部队正在利用战败日军打内战。国民党代表对此百般抵赖，美方代表则表示怀疑。为揭露敌人的这一罪恶行径，陈赓邀请三方代表前往晋军前线阵地一探究竟。在随从参谋不幸触雷牺牲的危险情况下，陈赓毅然带领三方代表走向晋军阵地。这时据守阵地的就是被阎锡山收编的日本兵，当他们看到陈赓毫不犹豫地向山上走来时，被吓得呆若木鸡。上山后，陈赓亲手将一名不知所措、身穿国民党军装却只会说日语的日本兵揪到三方代表和随行记者面前，用铁的事实揭穿了敌人的阴谋诡计。
只有少数人回到了日本
内战初期，阎锡山狂妄地认为，装备精良的晋军足以对付晋冀鲁豫的共产党军队，并没有让日军直接参战，而是按照“第二战区司令长官合谋社”的计划，让日军更多地参与后勤保障、通讯、训练等工作。没想到几个回合下来，晋军节节败退，尤其是1948年3月的临汾战役后，晋军主力面临被解放军一举歼灭的危险。阎锡山迫不得已要求第十总队的日军直接参战，并任命日军原驻长治旅团长原泉福(日本名为元泉馨)直接担任其晋中野战军副总司令。
不过，日军也挽救不了阎锡山失败的命运。一些思乡的日军开始开小差，千方百计想返回日本。剩下的日军也士气低落，而且他们看不起阎锡山的部队，如原泉福就十分看不起担任晋军主力晋中野战军总司令的赵承绶。1948年7月，晋中战役打响。在这次战役中，徐向前同志的部队一举歼敌10万余人，其中就包括第十总队。在战役中，出现了一幕幕有意思的场景：由于徐向前威名赫赫，日本兵一听到徐向前的名字就胆战心惊。
在一次战斗中，几名解放军战士冲进了一间挤满日本兵的屋子，为首的日本军官并未指示手下开枪，而是走上来问：“你的太君的徐向前?”战士大声说：“对”。日本军官转头一声呼叫，满屋的敌人立刻缴械投降。在另一场战斗中，原泉福被我军迫击炮击中，重伤后自杀身亡。他死前对参谋处长哀叹：“没想到徐向前的厉害，十总全完了!”随后，7名日军高级军官也纷纷自杀，十总主力被我军全歼。此后，在1948年至1949年的太原战役中，又有大约1100多名日本兵参战，700多人被打死，400余人被俘，至此，阎锡山部队中的日军已基本被解放军全部歼灭。
对于这些双手沾满中国人民鲜血的被俘日军官兵，解放军却发扬了人道主义精神，把他们送往大同云冈一带的煤矿进行劳动改造，特意安排他们在相对安全的地方“背矿”，并且保证他们能吃饱穿暖，帮他们改造思想。这些日军战俘从心灵深处感受到了解放军的关怀和温暖，他们中的一些人被遣返回国后为中日友好积极奔走，还有一些人留在了中国，希望能用自己的实际行动弥补日本军国主义对中国人民犯下的滔天罪行。