桂永清回国后，又得到了蒋介石的重用。1932年3月，蒋介石在南京“励志社”召开“复兴社”成立大会，桂永清当选为中央干事，成为十三太保之一。蒋特定他为训练处处长，让他把留德所学用于培养训练各种效忠于蒋介石的干部和学员。1933年，桂永清被蒋任命为中央军校教导总队队长。
1937年7月7日，抗战爆发，当时正在英国参加英王加冕的桂永清闻讯后急忙回国，率领他的教导总队投入到淞沪会战。此时，教导总队已拥有步兵16个团，骑、炮、工兵、通讯、汽车各一个团，另有四个独立营，一个独立连，官兵总数超过一个正规军的编制。本来何应钦上将决定调教导团入川扩编成为30个团，作为第二期作战主力，但桂永清却要求立即参战，在桂信誓旦旦的战斗总动员下，全体官兵也一直要求开赴战场，蒋介石于是将总队3个团调到湖南扩建，总队主力调入淞沪战场。
1938年夏，蒋介石突然召见桂永清，要他组建第28军，驻防郑州。桂永清担任第28军军长，辖第36、第46、第106和炮兵共4个师，归第一战区司令长官程潜节制。不久，桂永清奉命在河南兰封、考城之间驻防，以阻日军西进。
当第28军军部抵达罗王殿时，接到程潜来电：“日军有一加强旅团之敌，现已窜入兰封城，你部现改为攻击兰封，将该敌歼灭。”桂永清立即命令第36师攻击兰封城东、北两门，第46师攻击兰封城西、南两门，第106师为预备队，炮师掩护步兵攻城。此时，蒋介石来电，限定该军在两天之内攻克兰封，否则军法从事。次日上午，桂永清指挥全军发动攻击，遭到敌军的顽强阻击。下午5时，程潜来急电：“委员长亲临郑州指挥。”7时，接到蒋介石打来的电话，命令第28军日内攻克兰封，逾时不克，唯军长是问。桂永清当即召开师以上军官紧急会议研究作战方案，并限当晚攻克兰封。第3天，蒋介石一连数次打电话询问战况。桂永清不敢待在军部，亲自到第一线督战。这时，第46师第1旅旅长李昌会负伤，第3旅旅长马威龙阵亡，第2旅旅长李蔼堂下落不明，桂永清赶到第46师，与师长李良荣共同督战。在战斗中敌军从南门突围，向考城逃窜。当蒋介石责问时，桂永清说：“此次攻战，旅长一死二伤，团长伤亡各二名.营长阵亡九名，连以下官兵伤亡五千余人，已竭尽全力，我在第一线督战，仍未能完成歼敌之任务，有负校长的使命，请予处分。”这时，蒋介石命令他迅速撤退到郑州以西待命。第28军开到开封时，守军商震部已经撤走。他们撤到中牟时，国民党空军正在轰炸花园口的黄河大堤。桂永清到达洛阳白马寺时，接到蒋介石的电令：“28军攻击兰封不力，军长桂永清撤职。36师师长龙慕寒玩忽职守，攻城不力，而且放走敌人，着即送武汉处决(抗战期间遭到处决的第一位蒋介石嫡系将领)。46师师长李良荣革职留任，戴罪立功。106师师长沈克追击不力，改任副军长。”第二天，蒋介石又来电：“桂永清仍回战干团任教育长。
桂永清到武汉去见蒋介石，并未受苛责，但他为龙慕寒求情也未获允，蒋只说将第28军交给胡宗南指挥，仍派桂永清任战干团教育长。蒋介石这一次是真失望了，兰封会战中，蒋介石部署十倍于日军的兵力围歼土肥原部队，本想取得一个抗战以来的大胜利，以鼓舞士气，但他没想到中国十几个师都没能吃掉土肥原一个师团，蒋介石称为“千古笑柄”。自此以后，直到抗战结束，桂永清再没有真正地掌握过军权