淮西之战后，岳飞与张俊、韩世忠同时接到了大本营的召见令。当时的宰相张浚试图收回各大将的兵权，因为这些人久握重兵，而且常常不听皇帝的命令，这是为了保宋朝江山考虑。要知道，当年的宋朝立国就是因为宋太祖手握重兵，逼迫孤儿寡母得来的。张浚的做法是表示一个臣子的忠心，而岳飞却迟迟不肯来朝，来了之后也不愿意交出兵权。收回大将的兵权，但军队却没有解散，只是把这三大军队合并成“禁军”，归皇帝指挥，三大将还是有指挥军队的权力，但要受皇帝的节制，这本身没有什么错：
[宋纪一百二十四] “张浚在相位，以诸大将久握重兵难制，欲渐取其兵属督府，而以儒臣将之。 会淮西军叛，浚坐谪去。赵鼎继相，王庶在枢府，复议用偏裨以分其势，张俊觉之， 然亦终不能夺其柄。至是同献计于秦桧，请皆除枢府而罢其兵权，桧纳之，乃密奏于帝以柘皋之捷，召韩世忠、张俊、岳飞并赴行在论功赏。时世忠、俊已至，而飞独后，桧与参知政事王次翁忧之，谋以明日率三大将置酒湖上，欲出，则语直省官吏曰：“姑待岳少保来。”益令堂厨丰其燕具。如此展期以待，至六七日。 及是飞乃至。上即召同入，谕令与给事中兼直学士院林待聘分草三制。壬辰， 以扬武翊运功臣、太保、京东、淮东宣抚处置使兼河南北诸路招讨使、节制镇江府英国公韩世忠，安民静难功臣、少师、淮南西路宣抚使兼河南北诸路招讨使、济国公张俊并为枢密使，少保、湖北、京西路宣抚使兼河南北诸路招讨使岳飞为枢密副使，并宣押赴本院治事。”
高宗决定：三帅同参知政事（升副宰相职），张俊、韩世忠同为枢密使，岳飞副之，岳飞排在第三位。 张俊立即将所部兵权交御前司（由大本营亲掌），韩世忠不置可否，岳飞则留恋兵权，力辞枢密副使职。高宗安慰三帅[宋纪一百二十四]： “朕昔付卿等以一路宣抚之权尚小，今付卿等以枢府本兵之权甚大，卿等宜共为一心，勿分彼此，则兵力全而莫之能御，顾如宗弼(金兀术)，何足扫除乎！”
[疑点]：如果岳飞真的非常忠心，何必对上交兵权如此迟疑？在高宗管治下，他依然可以指挥打仗么，难道岳飞的军队只属于岳飞自己，而不属于皇帝？
高宗是日下诏： “宣抚司并罢，遇出师，临时取旨。逐司统制官已下，各带御前字入衔，且依旧驻剳；将来调发，并三省、枢密院取旨施行。仍令统制官等各以职次高下轮替入见。”
随后高宗命韩世忠负责将枢密使办公地点迁移，置司镇江，张俊与岳飞赴淮东巡视边防。张俊见海州城不易守，毁城迁民至楚州。而楚州屡遭战火，城墙破败不堪，俊欲修固，岳飞竟言：“当戮力以图恢复，岂可为退保计？” 戮力以图恢复，就可不为退保计么？只知全力进攻，却不要防守，结局会怎样呢？史载： “（韩世忠）授武宁安化军节度使、京东淮东路宣抚处置使，置司楚州。世忠披草莱，立军府，与士同力役。夫人梁（红玉）亲织薄（草帘）为屋。将士有怯战者，世忠遗以巾帼，设乐大宴，俾妇人妆以耻之，故人人奋厉。抚集流散，通商惠工，山阳（楚州旧名）遂为重镇。刘豫兵数入寇，辄为世忠所败。”
可见，楚州乃屏蔽淮东、宋金必争的军事重镇。而此时岳飞竟说出这样的话，这是一个军事专家应有的态度么？难怪张俊听了勃然变色！
[疑点]：岳飞不愿意交出兵权，现在又对战略要地的防守横加指责，张俊对岳飞的忠心程度更加怀疑。
回大本营后，岳飞始终坚持辞去枢密副使一职，返回两镇（鄂州、襄阳），也就是回到原先的统兵位置上去。高宗诏曰： “朕以二、三大帅各当一隅，不足以展其才，故命登于枢机之府，以极吾委任之意。”
“今卿授任甫及旬浃，乃求去位，行府之命，措置之责，乃辞不能。举措如此，朕所未喻。夫有其时，有其位，有其权，而谓不可以有为，人固弗之信也。”
把三大帅聚到一起，同掌国防之重，而各地军兵轮流入卫，史载： “乙亥，诏有司造克敌弩，韩世忠所献也。帝谓宰执曰：‘世忠宣抚淮东日，与敌战，常以此弩胜。朕取观之，诚工巧，然犹未尽善。朕筹画累日，乃少更少，遂增二石之力而减数斤之重，今方尽善，后有作者，无以加矣。’”
高宗身为一国之君，竟能完善前线用的“克敌弓”，而岳飞就是不肯在大本营干，一再要求辞职。
[疑点]：岳飞为什么不肯在皇帝手下指挥军队？不同样是为了国家么？岳飞的忠心再次被质疑。
不但张俊怀疑岳飞的忠心，其他文官也怀疑岳飞的忠心，著名忠臣何铸指责岳飞：
[宋纪一百二十四] 壬子，右谏议大夫万俟禼疏言：“枢密副使岳飞，爵高禄厚，志满意得，平昔功名之念，日以颓坠。今春敌兵大入，趣飞掎角，而乃稽违诏旨，不以时发。久之一至舒、蕲，匆卒复还。幸诸帅兵力自能却敌，不然，则败挠国事，可胜言哉！比与国列按兵淮上，公对将佐谓山阳为不可守，沮丧士气，动摇民心，远近闻之，无不失望。望免飞副枢职事，出之于外，以伸邦宪。”癸丑，帝谓大臣曰：“飞倡议不修楚州城，盖将士戍山阳久，欲弃而之他。飞意在附下以要誉，朕何赖焉！”
何铸(1088年～1152年)，字伯寿，余杭人。北宋政和五年(1115年)进士。历官州县。以品德高尚、品性刚直入为诸王宫大小学教授，先后任秘书郎、监察御史、御史中丞等职。南宋绍兴十一年(1141年)，岳飞下狱，何铸时任御史中丞，被命主持审讯。何铸曾经试图免除岳飞死罪。 但是，皇帝坚持重判。后来，何铸因反对议和， 降为秘书少监，谪贬徽州。后起用为温州知府。不久授端明殿学士提举万寿观兼侍读，力辞不就。再次出使金国，回国后任资政殿学士，出知徽州。不数月，提举江州太平兴国宫。年六十五而卒。谥“通惠”，嘉定元年(1208年)，改谥“恭敏”。
[宋纪一百二十四]：“御史中丞何铸、殿中侍御史罗汝楫复交疏论之，大略谓：‘飞被旨起兵，则略至龙舒而不进；衔命出使，则欲弃山阳而不守。以飞平日，不应至是，岂非忠衰于君邪！自登枢筦，郁郁不乐，日谋引去。尝对人言：‘此官职，数年前执政除某而谋不愿为者。’妄自尊大，略无忌惮。近尝倡言山阳（楚州）之不可守，军民摇惑。使飞言遂行，则几失山阳，后虽斩飞何益！乞速赐处分，俾就闲祠，以为不忠之戒。”
[疑点]：岳飞的忠心受到当时最廉洁正直的官员质疑，不只是张俊和秦桧。难道为了岳飞的神话，把何铸也说成是汉奸么？为了树立岳飞这个神，宋朝已经有太多被诬蔑成汉奸的了，有张俊，秦桧和张邦昌等等。岳飞在南宋并不怎么出名，是元明清三朝的儒林子弟树立起的神话，尤其是明朝和民国期间。岳飞的“忠义”是儒教精神， 吹捧岳飞就是颂扬儒教。不过，儒教造神的本事出神入化，岳飞已经成了中国的民族魂，谁敢指责岳飞，就会被戴上汉奸的帽子，谁敢为张俊秦桧和张邦昌说公道话，就会被指责成卖国贼，这样，儒教就可以永远光耀万世了。儒教又是什么？儒教是中国文化，渗入到每个中国人的骨髓，而中国人爱撒谎爱造神的劣根性正是来自儒教的毒害。
“铸孝友廉俭。既贵，无屋可居，止寓佛寺。其辨岳飞之冤，亦人所难。然绍兴己未以后，遍历台谏，所论如赵鼎、李光、周葵、范冲、孙近诸人，未免迎望风旨，议者以此少之。”
赵鼎也是主和派，只是强硬些，为此而与秦桧不睦，但李光可是一直被认做秦桧亲信的，后也确被秦桧提名参知政事，位列宰相，“光与右仆射秦桧议事不合，于帝前纷争，且言桧之短，殿中侍御史何铸因劾光狂悖失礼”。
孙近被反对议和的枢密院编修官胡铨列为“不共戴天”的三该杀！“臣谨按王伦本一狎邪小人，市井无赖，顷缘宰相无识，遂举以使敌。专务诈诞、欺罔天听，骤得美官，天下之人切齿唾骂……臣窃谓不斩王伦，国之存亡未可知也……虽然，伦不足道也，秦桧以心腹大臣而亦然……臣窃谓秦桧、孙近亦可斩也……臣备员枢属，义不与桧等共戴天日，区区之心，愿断三人头竿之藁街”
何铸连他们都参倒了，何铸应是一个合格的谏官。
按规定，宰执若被谏官弹劾，应立即辞职的。正好此前岳飞一直在坚持辞职，故此大本营这次便接受了岳飞的辞职申请，但拒绝其返还鄂州或襄阳，命其住留临安，“仍奉朝请”，也就是逢一、逢五须列朝站班，因为岳飞还保留了少保的荣衔，及“特授”了他原任的武胜、定国军两镇节度使虚职，并充万寿观使。[宋纪一百二十四] 八月，甲戌，少保、枢密副使岳飞复为武胜、定国军节度使，充万寿观使。但岳飞就是不愿在临安住，随后告病假，与岳云回到江西九江的家中。
九月大本营派军器少监鲍琚到鄂州查对宣抚司帐目，鄂州前军副都统制王俊，诣都统制王贵，告发副都统制张宪，说其谋据襄阳为变，证据则是岳云寄给张宪的几封信，内容大约是要张宪等人在前线挑动金人，引发战事，逼大本营让岳飞复职领兵，并言“可与得心腹兵官商议”。 张俊在行府，闻之，遂收宪属吏。
戊寅，少保、醴泉观使岳飞，下大理寺。 先是枢密使张俊言张宪谋反，行府已有供到文状，左仆射秦桧乘此欲诛飞，乃送飞父子于大理狱，命御史中丞何铸、大理卿周三畏鞫之。
癸巳，扬武翊运功臣、太保、枢密使、英国公韩世忠罢，为横海、武宁、安化军节度使，充醴泉观使，奉朝请，进封福国公。 世忠不以和议为然，由是为秦桧所抑。至是魏良臣等复行，世忠乃谏，以为： “中原士民，迫不得已沦于域外，其间豪杰，莫不延颈以俟吊伐。若自此与和，日月侵寻，人情销弱，国势委靡，谁复振乎？”又乞俟北使之来，与之面议，优诏不许。世忠再上章，力陈秦桧误国。言者因奏其罪，上留章不出。世忠力求闲退，遂有是命。世忠自此杜门谢客，绝口不言兵，时跨驴携酒，从一二童奴游西湖以自乐，平时将佐罕得见其面云。
丁未，光山军节度使、开府仪同三司、判大宗正事、齐安郡王士祇，提举西京嵩山崇福宫。 岳飞之下吏也。士祇草奏欲救之，语泄。论：“顷岳飞进兵于陈、蔡之间，乃密通书于士祇，叙其悃愊，踪迹诡秘。范同顷为浙东宪，与士祇通家往还，或以他故数日不克见，则必遣其属邵大受往传导言语， 窥伺国论。士祇身为近属，在外则结交将帅，在内则结交执政，事有切于圣躬，望罢其宗师职事，庶几助成中兴之业。”故有是命。仍令刑部检会宗室戚里不得出谒接见宾客条法，申严行下。
癸巳，岳飞赐死于大理寺。 飞既属狱，何铸以中执法与大理卿周三畏同鞫之。飞久不伏，因不食，求死，
命其子閤门祗候雷视之。至是万俟禼入台月馀，狱遂上。及聚断，大理寺丞李若朴、何彦猷言飞不应死，众不从。于是飞以众证，坐尝自言己与太祖以三十岁除节度使， 为指斥乘舆，情理切害，及敌侵淮西，前后受亲札十三次，不即策应，为拥兵逗留， 当斩；阆州观察使、御前前军统制权副都统制张宪，坐收飞、云书，谋以襄阳叛， 当绞；飞长子左武大夫、忠州防御使、提举醴泉观云，坐与宪书，称“可与得心腹兵官商议”，为传报朝廷机密事，当追一官，罚金。诏飞赐死，命领殿前都指挥使职事杨沂中莅其刑，诛宪、云于都市。参议官、直秘阁于鹏，除名，送万安军，右朝散郎孙革，送浔州，并编管；仍籍其赀，流家属于岭南。