虽然赵匡胤当上了皇帝，但如何使国家长治久安，避免成为五代之后的第六个短命王朝;如何将地方的权力集中到中央，避免重蹈唐朝末年藩镇割据的覆辙，一直是他深思的问题。
宰相赵普屡次进谏，请宋太祖撤去石守信等人的禁军职务，宋太祖总是不答应。赵普抓住机会再次进谏，宋太祖有点不耐烦地说：“他们一定不会背叛我的，你担心什么?”赵普答道：“我也不担心他们会背叛您。但是我看这些人，都没有统领军队的才能，恐怕不能制服他们的属下。一旦如此，万一军队里有人煽动，那他们到时候也就自己做不了主了。”
宋太祖突然意识到了这一点。他不会忘记，自己是如何取得皇位的。如今，掌管禁军的虽然都是自己的亲信，对自己忠心耿耿，但人心难测。为了巩固自己的地位，为了让子孙后世长久地统治这个国家，他采取了一个为后人所津津乐道的办法。
建隆二年(961)秋天的一个晚上，宋太祖置办了酒席，请石守信、王审琦等人前来饮酒。酒过三巡，宋太祖屏退左右，对大家说：“要不是你们大家，我做不了皇帝，时时刻刻都感念你们的德义。但是做天子也非常难，还不如做一个节度使快乐。我从即位到现在，从来没睡过一个安稳觉。”
石守信等人大惊失色，忙问：“陛下为什么这么说呢?”
宋太祖说：“这还不好猜吗?谁不想要我这个位子啊?”
石守信等人一听话头不对，赶紧起身拜倒在地上，战战兢兢地问：“陛下何出此言?现在天下已定，谁敢有二心呢?”
宋太祖说：“不一定。即使你们没有二心，可是你们的部下如果有人想要富贵，有朝一日把黄袍披到你们身上，你们即使不想做天子，还由得了自己吗?”
石守信等人拼命磕头，痛哭流涕地说：“我们太愚笨了，没想到这一步，只求陛下可怜我们，指给我们一条生路。”
宋太祖才惺惺作态道：“人生苦短，如白驹过隙，不如富贵一场，多攒下些金钱，也为子孙后代积蓄些财产。你们为什么不交出兵权，去边镇做个节度使，买下几处好田宅，为子孙置一番基业。再多买几名歌姬舞女，每天饮酒作乐，颐养天年。我和你们结为亲家，君臣之间没有猜疑，上下相安，这样不是很好吗?”
石守信等人都拜谢道：“陛下这么惦念我们，就如同骨肉一般啊!”
第二天，石守信、王审琦等人纷纷上书称病，请求辞去禁军职务。宋太祖大喜，厚厚地赏赐他们，免去了他们担任的禁军职务，让他们去外地担任节度使。只有石守信仍兼任侍卫都指挥使，但兵权已被收回。
这就是历史上着名的“杯酒释兵权”。后来，宋太祖果然兑现诺言，将两个女儿分别嫁给石守信和王审琦的儿子，而太祖的弟弟赵光美则娶了张令铎的女儿，用来安抚诸将。
在经过一系列的罢免兵权和政治联姻之后，宋太祖已经牢牢地将兵权掌握在自己手中。可以说五代十国时期的诸藩镇拥兵自重，“兵权所在，则随以兴，兵权所去，则随以亡”的时代终结了。