白居易的春心也是进入青春期后开始萌动的。十九岁时，他在徐州符离（今安徽宿县）生活，邻家十五岁的女孩湘灵的美丽容颜立即吸引了他饥饿的眼球，他很想和这个女孩谈恋爱，便偷偷写了一首《邻女》，借以表达心中的爱慕之情。“娉婷十五胜天仙，白日姮娥旱地莲。何处闲教鹦鹉语，碧纱窗下绣床前。”邻女湘灵的这一清雅形象于是便刻在了白居易的脑袋里，之后再也无法抹去，从此坠入情网，不能自拔，不停地用笔墨表达心中的思念之苦，无论在天涯，还是海角，无论是居高堂，还是处乡野。
贞元十六（公元800）年，白居易考中进士，开始了官场生活。这一年他29岁，应该说，年龄不小了，官也当上了，可以成家了，可是他仍然不娶，心中还是想念着湘灵姑娘，总想有一天能回到符离去相见。
这一天终于来到了，贞元十九（公元803）年冬，白居易回到了符离，可惜这次不是回符离定居，而是去搬家（搬到陕西下邦）。年已32岁且名噪诗坛的白居易，依然冲不破封建礼教的桎梏。和当年一样，他没有勇气去公开的和湘灵姑娘见面，只是在搬家完毕，临走前才悄悄去和湘灵姑娘告别。由于怕别人知道了，既不敢哭，也不敢说话，双方都忍受着极大的痛苦。白居易有一首《潜别离》（白香山全集卷十二）写出了当时的情形：
“不得哭，潜别离。不得语，暗相思。两心之外无人知。深笼夜锁独栖鸟，利剑春断连理枝，河水虽浊有清日，乌头虽黑有白时。惟有潜离与暗别，彼此甘心无后期。”
这首诗写得很沉痛，千余年后读来仍令人为之嗟叹不已。
这次分别后，白居易和湘灵姑娘便再没有见过面。但白居易不能忘情，在诗中一再提到湘灵：“艳质无由见，寒衾不可亲。何堪最长夜，俱作独眠人！”（《冬至夜怀湘灵》白香山全集卷十三）
“泪眼凌寒冻不流，每经高处即回头。遥知别后西楼上，应凭栏杆独自愁。”（《寄湘灵》，白香山全集卷十三）
他们的结合不会再有希望了，白居易苦闷万分，写了一首《感秋寄远》诗（白香山集卷十三）：
“惆怅时节晚，两情千里同。离忧不散处，庭树正秋风。燕影动归翼，惠香销故丛。佳期与芳岁、牢落两成空！”
结婚的佳期与最美的年华（芳岁）都成了一场空，岂不伤感。
元和二年（公元807年），白居易在周至任县尉，这时他已36岁，依然是孑然一身。孤独和寂寞折磨着他，他只有寄情于花草，把花当作情人。他的《戏题新栽蔷薇》诗直呼出了他的心声：“少府无妻春寂寞，花开将尔作夫人。”
元和三年（808年），三十七岁的大龄青年白居易结婚了。婚后和杨氏夫关系并不坏，但白居易仍然时时想起少年时代的女友湘灵姑娘。当年湘灵姑娘曾送给白居易一双鞋子，白居易一直保存着，多年来，不论在朝在野，走到哪里就带到哪里。元和十年（公元815年），白居易贬江州司马，于是又将鞋子带到了江州。第二年春天，他将衣物一类的东西摊在院子里晒太阳，忽然见到那双鞋子，少年时的历历往事便一起涌上心头。他又想起了当年的湘灵姑娘。这时白居易已是45岁的人了，仍禁不住思绪翻腾，感叹再三，赋诗抒情：
“中庭晒服玩，忽见故乡履。昔赠我者谁，东邻婵娟子。因思赠时语：‘特用结终始，永愿为履綦，双行复双止。’自吾谪江郡，漂泊三千里，为感长情人，提携同到此。今朝一惆怅，反复看未已。人只履犹双，何曾得相似！可嗟复可惜，锦表绣为里。况经梅雨后，色黯花草死。”（《感情》·白香山全集卷十）。
洞房花烛之夜，当白居易揭开新娘头上的红盖头时，坐在牙床的这位新娘不是湘灵，而是同僚杨汝士之妹，人们知道，白居易与湘灵的事儿，黄了。这究竟是怎么回事儿呢？比较流行的说法是，湘灵家门弟低，白居易的母亲认为门不当，户也不对，以死想求，强行拆散了这对儿鸳鸯。然而，事情真的是这样吗？
从白居易写湘灵的众多诗作看，从十九岁开始写，一直写到五十多岁，时间跨度四十个春秋，抒发了白居易从处男到老年的长相思。从这些充满激情的诗句中，我们除了能读到真挚的情感外，倒是看不出更多抒发与湘灵分手的真实过程。每当谈到分离时，白居易总是含糊其辞，不敢直白他与湘灵这种只恋爱只不结婚、只开花不结果的爱情尴尬原因，也从来没有为此提到妈妈一个字。说妈妈扒了儿子的媒，白居易从来没有这样说过。
唯一值得关注的是白居易于贞元九年（793）写的一首《潜离别》。这一年，白居易的爸爸季庚除襄州（今湖北襄阳）别驾，冬天，白居易随父求学，与湘灵分别。后人以此认为，这是白居易的妈妈发现了儿子与邻女的恋爱行为，借口让儿子离开符离，把这门门不当、户不对的姻缘，消灭在儿子把生米做成熟饭之前。
《潜离别》就是在这样的背景下由诗人含泪写出的，诗中写道：“不得哭，潜离别。不得语，暗相思。两心之外无人知。深笼夜锁双飞鸟，利剑春断连理枝。河水虽浊有清日，乌头虽黑有白时。惟有潜离与暗别，彼此甘心无后期”。可以说，白居易在这首诗中是含糊地表达了离别的原因，其中的“利剑春断连理枝”就是有力的证据。诗句中的“利剑”究竟是指什么？如果是后人传说中的妈妈，这个暗喻显然说明白居易与妈妈已经到了水火不容的地步，因为用“利剑”比喻母爱的，似乎历史上还没有。
这就不得不提到妈妈在白居易心中的地位问题，母子之间的关系到底是势不两立还是鱼水情深？这也要从白居易的诗句和文章中寻求答案。他《襄州别驾府君事状》里这样评价自己的妈妈：“及别驾府君（即父亲白季庚）即世，诸子尚幼，未就师学；夫人亲执《诗》、《书》，昼夜教导，循循善诱，未尝以一篦一杖加之。十余年间，诸子皆以文学仕进，官至清近，实夫人慈训所致也。”在白居易的家庭中，妈妈是个顶梁柱，她对白及弟弟们恩重如山，在白居易心目中的地位是十分神圣的。在妈妈去世时，白居易十分伤心，写了首《慈乌夜啼》表达哀思，其中的“慈母心中天地宽。为子甘受苦千般，不求儿孙能孝顺，只愿母爱满人间”的诗句，更让人们看到了白居易对妈妈的一颗敬仰之心。如此一说，白居易怎会用“利剑”来比喻自己的妈妈？
从字里行间还可以看到，白居易的妈妈是一个知书达理、关心儿子的好母亲，不像是动不动就出口骂人以死想逼的沷妇。另外，从“不得哭，潜别离。不得语，暗相思。两心之外无人知”的诗句中看出，白居易和湘灵的恋爱行为实属偷偷摸摸的地下行动，既然是两心之外无人知，又怎么说妈妈就知道了这档子事儿呢。既然不知道，棒打鸳鸯又从何而来？所以说，从白居易的自述和历史资料的记载中裁定，白居易与初恋情人最后分手，与妈妈无关，说白居易的妈妈充当了法海的角色，纯属后人的瞎编乱造。那么，白居易所说的这个“利剑”究竟是指什么呢？
从白居易的恋爱过程看，邻女湘灵是他自己看中的，其中的交往也是暗中进行的，甚至从《冬至夜怀湘灵》中的“艳质无由见，寒衾不可亲。何堪最长夜，俱作独眠人”判定，他们之间已经达到了同居的地步，而这种事实婚姻关系是没有经过当时所谓的“父母之命、媒约之言”的，严格地说，这在当时是一种非法行为，白居易为了自己的面子和在官场上仕途顺畅，难以超过这个雷沲，最后自己强忍思念之苦，悄悄地逃脱了这种恋爱关系的束缚，从内心来说，他并不是情愿的。
当然，门第之间的差别也应该是分手的另一个原因，而跨不过这个门坎的也应该是白居易自己，而不是别人所为。白居易在《长相思二》中这样写首：“有如女萝草，生在松之侧。蔓短枝苦高，萦回上不得”。他把情人比萝草，把自己比青松，松树的枝子太高，萝蔓攀不上去。这个比喻正是说明了白居易内心深处始终有一个阴影在作怪，而这个阴影就是他和湘灵之间的门第之差。
从白居易认识老婆杨氏的背景看，白居易其实不是热衷于这个女人，而是看中了这个女人的背景。当时，在长安朱雀街静恭坊的杨汝士、杨虞卿、杨汉公、杨鲁士几兄弟，均是当时的社会名流，白居易与他们均有交往，关系甚好。元和二年（公元802年）白居易任周至县尉，这一年三月赴长安，晚上就住在静恭坊杨汝士、虞卿兄弟家，玩得很好。杨汝士有一小妹，长得好有才气，白居易一见钟情，遂相爱悦，喜缔良姻。在门第之风盛行的唐朝，拿这个豪门与湘灵的寒门一比，白居易自己乐意大家女孩，为什么甩掉湘灵，也就不能理解了。
还有人认为，白居易三十七岁才结婚，这段时间是白居易在为湘灵的事儿，与妈妈抗争。这当然也是无嵇之谈。如果看看白居易的年谱不难发现，这一段正是他人生的爬坡阶段，一要学习，二要应试，大多的心思用于自己的仕途，当然考虑结婚的心思就会少一点。更重要的原因，是白居易的生活一直处在颠颠沛流离之中，时局的动荡更多地让白居易无法安定起来。这一点，白居易在《赠五友》一诗中，自己说得明白：“三十男有室，二十女有归。近代多离乱，婚姻多过期。嫁娶既不早，生育常苦迟。儿女未成人，父母已衰羸。”白居易的晚婚怎么能说是妈妈的过错呢？
一些人不解的是，白居易虽然没有和湘灵结为秦晋，但婚后仍然不时写诗，诉说对湘灵的思念之情，从表面上看，好像是对与湘灵分手不甘心。实事上，白居易对湘灵的恋情是一次真正意义上的恋爱，付出的爱也是真心的，然而，回到现实中后，得到，他不敢，得不到，他又觉得可惜，于是不得不从诗句中回味虚幻的爱意，从而抚平内心的不安。说句不好听的话，白居易是一个“吃着碗里，看着锅里”的主儿。
说到此，不难理解，斩断白居易连理枝的“利剑”并不是指妈妈，而是当时社会的婚姻制度和难以逾越的门第之坎，白居易跨不过去，是他自己的事儿，拿妈妈说事，好像不符合事实，也是对母亲的不公。白居易初恋结局最后以失败而告终，幕后的黑手不是某个人，而是一个社会规则，白居易只是这种社会制度的一个牺牲品，抛弃了湘灵也不能全怪白居易，因为当时的社会就是这个风气，白的好友元稹的初恋结局，也是和白居易一样的。
令人痛心的是，恋爱中的男人最后失败，只是社会制度而为，而女人们受害的背后，除了社会制度，还有男人。就拿湘灵来说，四十岁还为一个男人坚守忠贞，而她心中的爱人却抛弃女友，另寻新欢，日子照过，孩子照生，这的确有点不公平。用现在的眼光看，这是一件令人鄙视的事，而在当时却是惯例，有时甚至是时尚。