冯玉祥有过显赫的祖上，根据家谱历代的记载，他的先祖冯如霖因屡建战功，在同治七年七月初十的皇帝诰命中，被封为振威将军，夫人获一品之殊荣。列祖中的建威将军雨膏公:“伟哉将军公忠为国扫荡烟尘纵横南北”。松亭公:“幼年好学强壮从军征南扫北纬武经文”。郁亭公：“壮年从军功保副将”。藩卿公：“品貌堂堂征南扫北有功不伐有才不狂”。
冯玉祥的家道是何时和因何败落的，无从考证了，下面的故事从这里开始：
清朝年间，在安徽巢县竹柯村里，有一个青年泥瓦匠，名叫冯有茂，他就是冯玉祥将军的父亲。
他在富人家做工，抽空“偷师”看少爷学武，自己暗中苦练。一次偶然被教练发现，觉得他很有上进心，征得主人家的同意，收他为徒，边工边学，武艺渐渐娴熟，人也长得身强力大。后来他随主人家的儿子们参加武试，少爷们都落了榜，而他却中了武秀才。
冯有茂入伍后，编入朝廷重臣李鸿章淮军辖下的铭军。由于他武艺好，锐意进取，很快就成了一名下级军官，辗转江苏、湖北、山东及甘肃等省，受尽跋涉饥困之苦。
冯有茂娶妻游氏，他们共育七个男孩，长子基道，次子基善——即冯玉祥，其余五个儿子小小年纪都因营养不良而夭折了。冯玉祥1882年11月6日(农历九月二十六日寅时)出生于直隶(今河北)青县兴集镇。乳名科宝，族名冯基善，字焕章，晚年号济公，人们都喜欢称呼他为先生。冯玉祥出生后不久，冯有茂的部队调往保定，这时他因功已升为相当于连长的后营右哨哨官，他们的家安在离保定城二里远的康格庄。
冯玉祥幼年不幸的是他的父母染上抽大烟的恶习，屡戒屡犯，戒烟时痛苦不堪的挣扎情景，令他幼小的心灵受到极大伤害，家里经常不得不靠典当衣物和日常用品糊口，等父亲开了饷再去赎回来，到月底揭不开锅了又去当，恶性循环，搞得家徒四壁。他小时从没穿过新鞋，他所穿的鞋，都是在旧货摊上买的“二鞋”，就是人家穿过又经鞋匠缝补过的破烂货。七八岁时，他就要找农活儿帮助家里，大热天钻到密不透风的苞米地里，帮人家剥用来喂牲畜的叶子，饿着肚子一干一天，身上划出道道伤口，汗水一渍，浑身刺痛。雪上加霜的是母亲在他12岁时又撇下他们父子病故。他所经历的苦难，使他对鸦片有切肤之痛，对平民生存的艰辛有亲身体会，后来领兵握权，他到处禁烟，与劳苦大众血脉相连，立志救国救民，一生生活俭朴，这些思想作为，可以说都源自于幼时的环境影响。
冯玉祥一辈子只上过一年三个月的私塾，这是他一生中仅有的一次正规学习。那是在他哥哥去当骑兵后，因学费已交了，他去替补读完后半段。后来好不容易有个机会，兵营中出了空缺，管带因与冯有茂日常关系不错，有心照顾他家生活困难，就说把他儿子补了兵吧，随手在花名册上给他写了个名字冯御香。日后有人说这个名儿太女人味儿了，便又改叫冯玉祥，以后就一直沿用了下来。字焕章还有个来由，那是他认得些字后看《彭公案》，其中有个人叫顾焕章，性极侠义，扶困济贫，除邪铲奸，又极孝顺父母，友爱兄弟，冯玉祥羡慕他的为人，就把焕章做了别号。
因年纪还小，冯玉祥入伍暂时不用到营服役，但按军中恩饷制，可以享受每月领饷一份，虽然微薄，对穷家也不无小补。他年纪虽小，却生得高大壮实，气力过人，营中人叫他“冯大个子”。12岁时父亲奉命修筑大沽口炮台，他也跟着去了，驻扎在曹头沽、南港、双桥等处。离他们施工20里远的海面上，就停泊着日本军舰，从那里开炮，可以直接命中大沽口炮台。冯玉祥经常听到营里的人议论日本军舰和外国欺侮中国的事，这种局面，在每个官兵的心上，都投下了耻辱的阴影。
冯玉祥一营人在极其艰苦的条件下整整干了两年，才修成大沽口炮台。这一建筑之坚固，堪称全国首屈一指的海防工程。19尊崭新的大炮，威风凛凛，都是李鸿章从德国买的。冯玉祥他们对自己的辛劳成果打心眼里感到自豪。可是光绪二十六年(1900年)八国联军打进北京，慈禧太后仓皇出逃，李鸿章出头议和的结果，是与列强签订了丧权辱国的《辛丑条约》，其中一条就是拆毁大沽口炮台，而且以后永远不准中国再在大沽口设置任何国防工事。各炮台还没一试，就要拆毁，消息传来，冯玉祥内心十分痛苦。从这一刻起，他心中就埋下了有朝一日要雪国耻的决心，并在以后练兵中，都以日本为假想敌。