刘邦的父亲和卢绾的父亲是好朋友，刘邦和卢绾又是同一天出生的，出生那天，街坊邻居都拿着酒为他们祝贺。两人长大后也是亲密无间，一起上学，刘邦一次受官府追捕，亡命在外，卢绾一直跟随左右。刘邦起义后，卢绾就跟随他在军中，任侍中(贴身副官)，出入刘邦的卧室，宠爱与各种赏赐都不是其他人所能比的。
刘邦称帝后，封为长安侯。当时，不是姓刘的异姓王已经有七个了，刘邦有心封卢绾为王，让其他的功臣从此省了封王的这份心思，就示意大臣们提出建议，便封卢绾为燕王。
陈豨反叛后，刘邦在邯郸攻击陈豨，卢绾从另一面夹击。陈豨战败，派人到匈奴求救，卢绾也派张胜到匈奴，告诉他们不要插手。
张胜到匈奴部落，逃亡在匈奴的已故燕王臧茶的儿子臧衍遇见张胜，说：“先生您之所以在燕国受到重用，就是因为熟悉匈奴的事务;燕国之所以能长期存在，就是因为内地各诸侯屡次反叛，兵事连绵，久而不决。如今您为燕国考虑，想赶快灭掉陈豨等人;陈豨等人一消灭，接下来也就轮到燕国，你们也就将成为阶下囚了。您何不让燕王暂缓进攻陈，而与匈奴和好?情况缓和，便可以长期在燕称王;一旦汉廷有急变，也可以借外援保全本国。”
张胜认为很对，于是私下让匈奴帮助陈豨等人攻击燕军。燕王卢绾疑心张胜勾结匈奴反叛，上书朝廷请将张胜全家斩首。这时张胜回来了，详细说明之所以这样行事的原因，燕王于是用诈术决罪他人，开脱了张胜家属，派他去匈奴作密使。
同时暗中使范齐潜去陈豨那里，想让他长期逃亡在外，双方对峙，不作决战。
刘邦于是派使者去召卢绾回朝，卢绾称病不来;刘邦又派辟阳侯审食其、御史大夫赵尧前去迎接燕王，顺便查验盘问他左右随从。
燕王卢绾更加恐惧，躲藏起来。他对心腹之臣说：“不是刘氏家族而称王的，只有我和长沙王了。去年春季，汉廷杀了韩信全家，夏季又处死彭越，这都是吕后的主意。如今皇上病重，大权委托吕后。吕后这个妇人，一心想找事诛杀异姓王和大功臣。”卢绾称病不动身，他的左右心腹也都藏匿起来。
卢绾的这些话有些泄露了出去，审食其听说后，回朝详细报告刘邦，刘邦更加愤怒，又得到匈奴中来投降的人，说出张胜逃亡在匈奴做燕王使臣。
刘邦因此认定卢绾反了。春二月，刘邦病重，派樊哙以相国名义发兵攻击卢绾。
卢绾听说汉兵来攻打自己，也并不反抗，而是率领臣属家人几千人住在边塞等候机会，希望得到刘邦病愈，他好亲自入朝谢罪，向刘邦说明原因。
但天不遂人愿，刘邦不久病逝，吕后摄政。卢绾听到刘邦驾崩的消息，只好亡命匈奴，匈奴封他为东胡卢王。
卢绾在匈奴，虽是王爵，却经常受匈奴人欺负，常常被抢，他想回到中原，只是欲归无路，一年后死于匈奴。