汉武帝热衷求神访仙，又好女色。他听信方士的妄说，嫌旧宫矮小，不足以迎神，同时也想使后宫可以容纳天下更多的佳丽。于是在太初元年修了“建章宫”。建章宫周长三十里，里面可以容纳千门万户，内殿有十二个门，台阶都以美玉装饰。又用黄金铸了一个凤凰，放置在殿顶上。在宫北凿太液池，池中有蓬莱、方丈、瀛洲象征海中的仙山。武帝因嫌宫殿在城外来往不便，就造了飞阁直通未央宫。又在长乐宫北建明光宫，未央宫北建桂宫，都筑复道相连。金玉珠玑为帘，墙壁上嵌着夜明珠，昼夜光明。选燕、赵美女两千人居住在其中。所选的良家子女，年纪都在十五至二十多岁，若年满三十便遣令出嫁。当时各宫的美女，共有一万八千人。幸运的女子几年之中有机会被进幸一次，大多数一生也未曾见过武帝一面。
武帝后宫佳丽虽多，但自从王夫人死后，却没有一个得到武帝专宠的。宫廷乐师李延年精通音律，颇得武帝欢心，他所做的曲子凡听到者都会莫名感动。李延年有一个妹妹，是个歌女，生得姿容秀媚，体态轻盈。李延年想把她进献给武帝为妃。但因为自己出身微贱，不便自言，于是请求平阳公主代为荐引。
一天，武帝在宫中置酒，平阳公主也在座，李延年侍宴。待到酒酣，李延年起舞，唱自做的一首新歌，其歌曰：“北方有佳人，遗世而独立。一顾倾人城，再顾倾人国。宁不知倾城与倾国，佳人难再得。”
武帝平日所接触的女子无可计数，不过就是有几分颜色的，在那么多美女之中也失去了光彩，更无一能及王夫人。此时卫子夫年老，王夫人早死，武帝想再访求绝色佳人以慰床笫之欢，可是一直不能如愿。现在听到李延年歌词，触动了潜藏已久的心事，不禁叹息说：“世间哪有你所唱的那种佳人?”平阳公主在一边揣摩得知李延年歌中的寓意，于是趁势说：“陛下有所不知，延年的小妹，就是一位倾国倾城的绝世佳人。”武帝心中一动，立命召李氏入宫。不久李延年将其妹引入。武帝一看，果然是沉鱼落雁、妙丽善舞。武帝遂纳李氏为妃。
由此李氏宠冠后宫，号为李夫人。不久怀孕，生下一个男婴，武帝封为昌邑王。自从武帝专宠李夫人，所有宫女无不艳羡嫉妒。
一天武帝去李夫人宫中，忽然觉得头痒，于是用李夫人的玉簪搔头。这件事传到后宫，人人想学李夫人的样子，头上都插了玉簪，一时长安玉价加倍。
谁知月有阴晴圆缺，李夫人入宫只短短几年，却不幸染病在身，不久病入膏肓，直至卧床不起。武帝难过不已，亲自去看她。李夫人一见武帝到来，急忙以被覆面，口中说：“妾长久卧病，容貌已毁，不可复见陛下，愿以昌邑王及兄弟相托。”武帝说：“夫人病势已危，非药可以医治，何不让朕再见一面?”李夫人推辞说：“妇人貌不修饰，不见君父，妾实不敢与陛下相见。”武帝说：“夫人不妨见我，我将加赐千金，并封拜你兄弟为官。”李夫人说：“封不封在帝，不在一见。”武帝又说一定要看她，并用手揭被子，李夫人转面向内，欷歔掩泣，任凭武帝再三呼唤，李夫人只是独自啜泣。武帝心里不悦，一怒之下拂袖而去。
这时李夫人的姊妹也入宫问病，见此情形，都很诧异。待武帝走后，她们责备李夫人：“你想托付兄弟，见一见陛下是很轻易的事，何苦违忤至于如此?”李夫人叹气说：“你们不知，我不见帝的原因，正是为了深托兄弟。我本出身微贱，他之所以眷恋我，只因平时容貌而已。大凡以色事人，色衰而爱弛，爱弛则恩绝。今天我病已将死，他若见我颜色与以前大不相同，必然心生嫌恶，惟恐弃置不及，怎么会在我死去后照顾我的兄弟?”
几天后李夫人去世。事情的结局果然不出李夫人所料。李夫人拒见武帝，非但没有激怒他，反而激起他无限的痛苦，将李夫人用皇后礼安葬，命画师将她生前的形象画下来挂在甘泉宫。武帝思念李夫人之情日夕递增。
有一天武帝去了昆明池。昆明池在上林苑中，池中有豫章台、灵波殿及一条石刻的鲸鱼。石鲸长三丈，每到天上下雨的时候，石鲸首尾皆动。昆明池东西各立一个石人：一是牵牛，一是织女，做成天河的样子。时值秋日，武帝坐在舟中，见夕照西斜，凉风激水，景物使人凄凉。不禁触事怀人，想到李夫人生前的种种好处，于是自做新词一首，名《落叶哀蝉曲》，其词曰：“罗袂兮无声，玉墀兮尘生。虚房冷而寂寞，落叶依于重扃。望彼美之女兮，安得感余心之未宁?”
武帝出来游昆明池，本为散闷解颐，谁知反添了许多新愁，于是回到延凉室中休息。他觉得很疲倦，睡眼之间，忽见一人袅袅走进。原来竟是李夫人，她手携一物，赠与武帝，并说：“这是蘅芜香。”武帝忽然惊觉，回忆刚才的梦境，历历如在眼前。又闻到一阵香气，芬芳经久不息。他记起李夫人梦中所赠的香，到处摸索却找不到。但是枕席衣襟，却不知怎么沾染了香气，因此改延凉室名为“遗芳梦室”武帝怀思转切，召来一个方士，让他在宫中设坛招魂，好能与李夫人再见一面。于是在晚上点灯烛，请武帝在帐帷里观望，摇晃烛影中，隐约的身影翩然而至，却又徐徐远去。武帝痴痴的看着那个仿如李夫人的身影，凄然写下：“是邪?非邪?立而望之，偏何姗姗来迟。”原来深海里有潜英之石，颜色发青，且轻如毛羽，天气寒冷石头却是温的，当暑热时反而变冷。把这种石头刻成人像，可以说话，方士将石像置于纱帐里，宛若李夫人生时。但因石头有剧毒，不可接近，只可以在远处观望。他想到李夫人病中嘱托的话，于是封李延年为协律都尉。李夫人还有一个弟弟李广利，则苦于没有尺寸之功，武帝不能无故加封。
不过机会终于来了，武帝听说大宛国有汗血马。便派使者赍持千金及金马前往大宛换取良马。此事被大宛国王一口拒绝。使者费尽许多辛苦白跑了一趟，因此生气之下痛骂宛国大臣，又将金马锤成了碎屑。大宛国将使者杀死，财物夺去，只有几个从人侥幸脱逃。武帝借机派李广利领六万骑兵，七万步卒往征大宛。待四年后班师回玉门关，仅剩下万余人。武帝却不加苛责，反而封李广利为海西侯，食邑八千户。多少尸骨丢在大漠无人收取，只为李夫人的一句遗言，武帝也称得上是一往情深。
“夫人”是嫔妃的称号，李夫人没有留下她的名字，薄命不薄命难说，祸水不祸水也谈不上，但这位死后许多年还能让汉武帝恋恋不忘的李夫人却实在不寻常。她的开始和结局同样不可思议。武帝的无尽思痛几乎全在她计划之中，美艳的容颜是她受宠的原因，而更在于她做人极有分寸，不因武帝的宠幸忘乎所以。一句“遗世而独立”衬托了她的本质，有可遇而不可求的距离美。李白的那句“以色事他人，能得几时好?”也许是李夫人所说的最好注脚。
东汉郭宪《汉武帝别国洞冥记》中记载了汉武帝因深情思念李夫人，东方朔遂献上一枝怀梦草，使武帝能在梦中和李夫人相遇。《史记》与《汉书》都详略不同地记载了方士李少翁为汉武帝招李夫人魂的事。据东晋王嘉《拾遗记》：招魂时是用色青质轻的“潜英之石”，将李夫人的画像设在纱帐里，在灯烛下投影于“帐帷”之上。这是后代皮影戏的由来。白居易诗《李夫人》云：“伤心不独汉武帝，自古及今皆若斯。君不见穆王三日哭，重璧台前伤盛姬。又不见泰陵一掬泪，马嵬坡下念贵妃。纵令妍姿艳质化为土，此恨长在无销期。”但那种“遗世而独立”的凄清，千古之下只李夫人一人而已，远非杨贵妃的艳俗可比。