1924年10月，习惯了政坛风云变幻的国人也不禁吃了一惊，直系将领冯玉祥趁直奉鏖战白热化，忽然率部倒戈回北京，发动政变。囚禁了总统曹锟，驱逐清朝逊帝溥儀出故宫，直奉战局由是逆转。从此更诞生了叱诧北方的一大军阀集团国民军。
政变后冯玉祥即昭告天下，为国为民成立国民军，冯玉祥说因为我们这次革命是拥护孙中山先生主义，中山先生领导的党叫国民党，所以我们的队伍也就取名国民军。冯玉祥是国民军总司令兼第一军的军长，他原本颇有忠君思想，光绪皇帝和慈禧病死的时候，他哭了三天三夜。
冯玉祥后来走上了反清革命路，不过他虽然是一个革命者，却带着旧时代深深的烙印。因此冯玉祥带兵，颇有些古时大将的风范。国民军是一个松散的军事联盟，冯玉祥所部为第一军，直军第二路司令胡景翼所部为第二军，北京卫戍副总司令孙嶽所部为第三军，这三军没有共同的军政纲领，也没有严密的组织隶属关系，灵魂是冯玉祥的国民军第一军。
一军中多有后来成名的武将，比如鹿钟麟、宋哲元、孙连仲、冯安邦、韩复榘、石友三、佟麟阁、刘汝明、孙良诚等等。他们多半是冯玉祥的亲兵出身，后来成为封疆大吏。蒋百里曾经评论说，冯玉祥是新旧军阀中“最善于带兵者”。冯玉祥注重招兵质量，他专招收手上有老茧出身穷苦的农村青年，便于管教驾驭。
为了防止招到兵油子，冯玉祥曾经让应募者站成一列，突然大呼一声口令“立正”。大凡当过兵的会本能地做出“立正”的动作，立正了的兵就不再被录用了。国民军入伍教育首先要教会两百个字，以便能朝夕诵读冯玉祥亲自编辑的小册子《精神书》。这本小册子讲爱国、讲道德也讲军事和革命，书中的短句琅琅上口，比如“古今英雄百战而不死，非是怕死乃是真不怕死”。
他的部将韩复榘后来主政山东的时候，还能对《精神书》是倒背如流。冯玉祥练兵刻苦，尤其是对夜战、刺杀行军的要求达到了几乎残酷的程度。冯部部队训练有素，加上注重军纪重视爱国教育，禁嫖赌毒戒烟酒，所以在北洋军中其战斗力是首屈一指。
国民军第一军是还是有名的基督军，在冯玉祥的带领下，士兵中有半数军官则十有八九都接受了基督教的领洗。因为冯玉祥认为基督教教义，鼓吹牺牲博爱精神是军队精神教育的极好资料。