都说莫欺少年穷，但是诸如英雄岳飞这样的人物也曾遇到过被发妻抛弃的时候。从今天的眼光来看，或许是可以理解的。首先古代是包办婚姻，双方之间本来就没有什么感情基础，再加上岳飞常见在军中，古代的军队管理可能比今天还要严苛，所以长时间两地分居的军嫂本来就很辛苦，再加上没有感情基础，这种苦就更难挨了，所以岳飞就遭遇了被发妻抛弃的结局，可见英雄也曾有落魄的时候。
但是他遇见了李娃，一个和她相伴了一生的女人，也算是圆满了。
岳飞戎马一生，并没有多少时间闲下来谈情说爱。历史上有关岳飞女人的记载并不多，有凭有据的，只有三个女人。
岳飞系出生于1103年，也就是宋徽宗崇宁二年，这一年的二月十五日夜里，他在今河南安阳市当时的河北西路相州汤阴县永和乡孝悌里的一间农舍呱呱坠地，小名五郎，后来才取名岳飞，字鹏举。
岳飞的父亲叫岳和，母亲是姚氏，姚氏生岳飞时已经三十六、七岁，按照现在的标准应该算是高龄产妇了。岳飞大概有四个哥哥，可惜都夭折了，可以想见这会给岳和夫妇带来多大的打击，之后，姚氏连续生了岳飞和岳飞的弟弟岳翻，才最终使这个长期为丧子之痛和无后之忧所笼罩的家庭走出了不幸的阴影。岳飞可能至少有一个姐姐，但史书缺乏关于她们的详细记载。
两次改嫁的绍发妻子
岳飞第一次结婚是在十六岁，按照当时法律的规定才刚刚达到结婚年龄。妻子是一位刘姓女子，岳飞家境贫困，估计刘氏也应是一般的农家女。结婚的第二年，这对小夫妻有了他们的第一个孩子岳云，又过了七年，他们又有了第二个孩子岳雷。岳飞和刘氏的婚姻大概持续了八年多，后来由于岳飞长期在外当兵服役，家里又困窘，再赶上汤阴县后来被金兵占领，刘氏最终撇下两个年幼的孩子改嫁他人。堂堂民族英雄，在其落魄之时竟也如此悲惨，亦可怜哉!
《会编》卷二百七是这样描述的：岳飞执掌兵权之日，遣使王忠臣前往楚州韩世忠处送信，王忠臣得到回信准备返回。这时，韩世忠嘱咐王忠臣回去告诉岳飞，他的结发妻子嫁给自己手下的一个押队，叫他快点来接结发妻子回家。岳飞听到王忠臣的密报后，不作回答。结果被韩世忠这个大嘴捅到了皇上那里，岳飞迫不得已上奏说：“当初渡河的时候，把妻子留在家中侍奉老母，没料想这厮竟然改嫁两次，我真是切骨恨之呀。已经派人给她送了五百贯(两三贯已够一个三口之家生活一个月)，来帮助她家用，恐怕天下不知道这件事情的原委，(以免有抛弃妻子的谤言流传)。”
一段风流韵事
第二个女人只是一段风流韵事的传奇。
岳飞家里向来没有姬妾侍奉，有一天黄纵(这家伙相当于岳飞的机要秘书)出门干公务，听说岳飞纳士族之女为妾的传闻。黄纵回来以后赶紧询问岳飞，岳飞说：是有这么回事，四川的吴玠(另一中兴名将)派人来我这里议论军事上的事情。我请他吃饭，他诧异于饭桌上的冷落(也就是没有歌伎之类助兴了，宋时豪门宴会，酒菜并不放桌上，而是一伎捧着一个盘子，轮流上来敬客。)，回去就告诉了吴宣抚。
于是吴玠以为是岳飞眼光太高，就破费两千缗(贯)买了一个士族女子送给岳飞。岳飞也绝，他知道这事情后，没有见这位名姝，只是让她立在屏风后面，告诉她：我们家上上下下皆穿麻衣，吃的也只是咸菜粗粮，您要是能和我同甘共苦就留下吧，如若不然，还是请回吧。那个女子吃吃的笑了，岳飞就把她打发回去了。
执子之手与子携老
岳飞的第三个女人便是与他“执子之手，与子携老”的李娃。
据王曾瑜先生考证：李娃在建炎四年居宜兴，生岳霖，则应在建炎二三年间嫁岳飞。她比岳飞年长两岁，嫁时已有二十八九岁。李娃是个非凡的女人，岳飞不在军中，李娃听说岳飞的某个部下打算谋叛，一声不吭。直到布置妥当才齐集诸将，当众宣布了调查结果，将毫无防范的叛将捉住斩首。
不过，岳飞对李娃严加限制，只许她“抚其妻、子，以恩结之，得其欢心”了。从绍兴十一年到绍兴三十一年，二十一年间李娃率领岳飞的子女在岭南苦度日月。他们遭受的是对流放人最为严厉的编管刑，严格限制人身自由，需要每月到监管人处呈身。在这样的境遇中，李娃都能够“居患难不改幽闲之操”，令世人敬仰佩服。