元狩二年（前121年）对于匈奴的休屠王一家来说肯定是一个凶年。先是在那一年的春天，汉朝大将霍去病率领汉朝的精锐骑兵北击匈奴，大胜而归，并且把休屠王的珍宝祭天金人俘获而去。接着在那一年的秋天，汉朝继续发动了针对匈奴的攻势。匈奴的两大王休屠王和浑邪王在汉朝骑兵面前一败涂地，匈奴单于气的要杀他们二人治罪。
面对前方的汉朝骑兵和后方单于的断头台，休屠王和浑邪王一番商议后，决定率众投降汉武帝。可是事到临头，休屠王却反悔了，他想把罪责全部推到浑邪王身上，保住自己的活命。可惜他的如意算盘并没有成功，得到消息的浑邪王提前下手杀了休屠王，自己投降了汉武帝，休屠王的夫人和子女都被作为人质被带到了长安。
此后浑邪王因功被封侯，而休屠王的小王子金日磾却因为他父亲的原因，从王子的高位跌落为了奴隶，被发配到黄门署养马。不过如此大的落差却并没有打垮金日磾，到了黄门署后，他一心一意的养马，把御马养的膘肥体壮。正巧有一天汉武帝经过此处，发现之前状态极差的御马像发生了很大的变化，决定重赏养马者。汉武帝在得知养马的金日磾原是匈奴王子后，就升他做了马监。此后的他接连升官直至光禄大夫，与汉武帝接触的机会也越来越多了。
正巧此时，汉武帝治理巫蛊之案，将江充等人杀死，有一个名叫马何罗的人和江充关系交好，准备伺机报复汉武帝。一日，汉武帝夜宿林光宫，马何罗假传圣旨调走了宿卫亲兵，自己则带着一把短刀潜入了林光宫。恰巧被金日磾发现马何罗眼带凶光，侵入皇宫，疑心之下的金日磾上前询问，二人发生争执，金日磾当机立断的擒住了马何罗。
事后得知消息的汉武帝，对于这位救了自己一命的匈奴小王子更加器重，加封为侯。并在自己病重之时，命霍光、金日磾、上官桀等人共同辅政。汉昭帝刘弗陵即位后，金日磾依然勤勤恳恳，在汉昭帝即位一年之后过世。