同大多数德国陆军指挥官一样，克卢格也是出身于军人世家，并以效忠君王与祖国为最高目标。他于1882年10月3日出生在波森，父亲曾被封为贵族并晋升中将。克卢格曾在普鲁士军官学校受过训，曾因舍身救人而获得一枚奥尔登堡救生奖章。他学业优良，被同学们称为“聪明的汉斯”。
1901年，克卢格晋升少尉，在沃尔芬比特尔的下萨克森野战炮兵第46团任营副官。后来，他毕业于军事学院并调到总参谋部任职。
第一次世界大战中，已是上尉的克卢格随第21军参战，因作战有功而获双剑霍亨索伦皇家勋章。后调任步兵第236师首席参谋官，并在1917至1918年的阿图瓦和佛兰德的两次会战中浴血奋战。10月，在凡尔登身负重伤。
战争失败后，克卢格于1919年被国防军录用而任职于第3军区的步兵指挥部。1921年晋升少校，3年后调往国防部陆军训练司。1926年任驻萨冈的炮兵第3团第3营营长，1927年晋升中校，次年调任驻法兰克福的骑兵第1师参谋长。1930年任炮兵第2团上校团长，两年后被任命为第3军区第3师炮兵指挥官。1933年晋升少将并被任命为通信兵监察员。1934年晋升中将，先后任第6师师长和第6军军长，后兼任驻蒙斯特的第6军区司令。1936年晋升炮兵将军，1938年任新编第6集团军总司令。
对波兰的战争开始，克卢格指挥的第4集团军，与屈希勒尔将军指挥的第3集团军同属鲍克所指挥的北方集团军。
第4集团军于1939年9月1日从东波美尔的各集结地发起攻击，与配属的古德里安装甲军一同突过走廊地带而切断了波兰部队的退路并重创波军。第4集团军在土黑尔原野几乎全部消灭了波军残部，于9月4日占领了魏克塞尔河的库尔姆，并于9月7日渡过德累温茨河直逼华沙东北面的莫德林要塞。华沙于9月27日陷落，对波兰的闪击战至此结束，克卢格晋升为上将。
西方战役伊始，德军战果辉煌。继突破比利时警戒部队之后，5月25日，第4集团军突入并分割英军和比利时军队，致使比利时于28日投降。利用一次由东向西的突击，第6和第4集团军在里尔包围了法国的两个军。
德军重新部署，克卢格成为B集团军的右翼。顿刻尔克战火未息，B集团军就于6月5日发起攻击。随着霍特的装甲军突穿法军阵地，第4集团军跟踪突入，于6月8日到达靠近塞纳河的鲁昂。法军第10军残部在德军装甲部队压迫下溃败，两个英国师在勒阿弗尔乘船逃回英国。
6月14日，第4集团军尾随第18集团军沿巴黎两侧紧追敌军，紧接着占领布列塔尼半岛。十天之后战役结束。克卢格和其他陆军高级将领于1940年7月19日一同晋升为元帅。
1941年6月22日晨，当德苏友好关系在隆隆炮声中断绝后，第4集团军在装甲部队前导下突破边境向前推进。霍特的坦克在苏瓦乌基突破苏军防线，古德里安的装甲部队则向布列斯特--李托夫斯克攻击。随之而来的第4和第9集团军则在比亚韦斯托克围歼强大的苏军，这两支装甲部队继续向前推进，把已逃脱的苏军在明斯克第二次加以围歼。7月16日，德军攻占斯摩棱斯克，打开通往莫斯科的门户。
此时，德军统帅部发生意见分歧，希特勒不断改变其攻击目标。到9月底，希特勒才决定向莫斯科进攻。10月3日，第4集团军在第9集团军协同下在维亚济马和布良斯克包围苏军60余万人并直逼莫斯科，但苏军的抵抗日益顽强，加之寒冬提前到来，德军进攻陷于停顿。
1941年12月19日，德国陆军总司令勃劳希奇元帅因同希特勒意见发生分歧而称病辞职，希特勒自任陆军总司令。并派克卢格元帅接替离职的博克，担任中央集团军总司令。
克卢格当时的参谋长是格赖芬贝格，作战部长为特雷斯考上校。后者在1941年以前是一个狂热崇拜希特勒的人，又是希特勒的副官施蒙特的好友。到1941年底，他才改变观点而成为对国家社会主义深恶痛绝的人。他认为只有杀掉希特勒才能挽救德国的命运，而只有国防军——主要是陆军，才能除掉希特勒。他曾不遗余力地想把鲍克元帅拉入反对派的行列。他还想说服克卢格，使之认识反抗的必要性。此外，还有一件事情使特雷斯考相信自己策反克卢格必成。他抓住克卢格曾得到希特勒赠予的25万马克生日礼金一事向克卢格作工作，说只有起来参加反抗运动才能洗刷这种不光彩行为。但克卢格犹豫不决，他怕担当不忠的骂名。
苏军的强大攻势迫使克卢格一共把中央战线后撤了150公里。在伊尔门湖南方苏军突入北方集团军群与中央集团军群的接合部并包围了第9和第4集团军。游击队的频繁袭扰、破坏铁路、阻断后勤补给也给德军带来极大威胁。
克卢格向希特勒求援撤出苏军包围圈，被希特勒拒绝。2月26日，克卢格不顾希特勒的反对，命令部队突围并取得成功。不但缩短了200公里的正面，而且在春季泥泞开始之时，中央集团军群已位于构筑良好的阵地上。
1943年7月11日，苏军优势兵力南北夹攻奥廖尔的德军阵地，迫使莫德尔上将指挥的第2装甲集团军和第9集团军向布良斯克附近撤退。这时，东线已发生动摆，失败的厄运威胁着整个战线。
1943年7月25日，德国莱比锡市长戈德勒博士致函克卢格，鼓动他起来谋反，“以力量和理智去维护德国的利益”;在特雷斯考的活动下，贝克等德军将领也在设法争取克卢格。前线的败局和对抗力量的策反，促使克卢格于1943年11月同戈德勒博士会晤并下决心除掉希特勒。他们决定，设法让希特勒到中央集团军群司令部视察时趁机打死他。然而希特勒并未上钩。后来，克卢格因车祸负伤离职，谋杀之事暂时作罢。
半年之后，克卢格奉召前往最高统帅部。此时，他又屈服于希特勒的影响之下，无力摆脱这个混世魔王的诱惑。他对能否谋杀成功发生动摇，反而认为效忠是他的本分。于是，他从一个反抗运动的赞助者又转而成为希特勒的宠儿，不久，他被任命为西线总司令。
1944年7月3日，克卢格到了法国，并访问了隆美尔元帅，两人发生了激烈的辩论。这真是一次奇怪的会见：隆美尔原为希特勒的信徒，当时则为希特勒的敌人;而克卢格则正好相反，两人在争论“领袖”的指挥问题上当然是针锋相对了。
在经过一番前线视察后，克卢格自己也感到战局毫无希望了。
7月17日，隆美尔因重伤离职回国。两天之后，希特勒把诺曼底正面的指挥权授予克卢格元帅。
7月20日，发生了施陶芬贝格上校企图用炸药炸死希特勒的事件。
当时，反对派组织的联络员向克卢格元帅请求道：“我以德意志民族的名义向您请愿!请您效法隆美尔，脱离希特勒，担任西方自由运动的领导人!请您结束战争，开始谈判，以结束这种杀人流血的勾当!”克卢格出神良久，耸耸肩膀说：“诸位，这一次行刺已经失败了!”事后他向他的参谋长说：“我已不再抱有希望了，因为一切目的都不会达到。希特勒是民众崇拜的偶像，只要他活着，一切都毫无办法……”。
在巴黎的反抗运动也被克卢格的安抚手段所平息。克卢格还按照参谋长布卢默尔特里特将军的建议，向希特勒发了一封效忠电报。
西线的状况日益恶化，克卢格早已失去信心。但他仍违心地执行希特勒不许撤退的命令，并于8月7日发动了最后一次失败的反击。此时，克卢格不顾希特勒的命令而撤退部队，于是被希特勒撤职。
克卢格把总司令的职务交给了莫德尔，并上书希特勒。在信中，他一方面对自己的所作所为进行辩护，并妄称西线的败局是由于他有意采取的错误决策造成的;另一方面，最后一次劝希特勒下决心停止战争。他在信中说：“德意志民族已经受够了这种难言的痛苦，现在已经到了结束这种惊恐的时候!”
1944年8月18日，克卢格在返国途中服毒自杀。