吴佩孚一生娶了四位夫人。在他15岁那年，娶了18岁的第一位夫人王氏，夫妻感情尚好，可惜3年后，王氏因病去世，没有生育子女。吴佩孚直到31岁时，才续娶了第二个夫人李氏。据说李氏出身于蓬莱有名的富豪之家，相貌出众，知书识礼。吴佩孚在长春做北洋第三镇管带时，全镇女眷数百人，大家一致公认吴管带夫人是最为出众的。李夫人虽然出身富豪之家，但很贤淑，上奉吴母，代照顾吴佩孚的兄弟文孚。不过日子长了，婆媳间因为家务事产生了一些矛盾。特别是和吴佩孚结婚几年，她没有生育，更是让吴母不满。吴母就盘算着给吴佩孚纳一房妾。
这时张佩兰出现了，她一见到文武双全、风度潇洒的吴佩孚，悄悄地爱上了他。张佩兰为人乖巧，先认吴母当干娘，认吴佩孚为兄长，并且把吴母哄得很开心。吴母就做主让吴佩孚再娶了张佩兰。成婚的那一天，可怜夫人李氏眼泪婆娑地对张佩兰道:“好妹子，你怎么做起新娘子来了?”然后又转向吴佩孚:“你是发过誓的，这辈子不纳妾的，大丈夫一言九鼎，怎么言而无信了。”一席话，说得两位新人满脸通红。 吴佩孚从此再也没什么“绯闻”。
开府洛阳时，有一位德国小姐叫做露西的爱上了吴佩孚，西洋女子就是开放，大胆示爱，居然把个久经沙场的吴大帅吓得退避三舍，在露西小姐的情书上批了四个大字:“老妻尚在。”但吴佩孚内心却是得意的，对夫人道:“切莫以为我是糟老头子了，还紧俏得很呢。”由此可见，不是他不谙风情，而是他对自己道德方面的要求和束缚。李夫人和张佩兰始终也没有为吴佩孚生下一子半女。1929年，吴佩孚56岁时，张佩兰也已44岁，她眼看自己不能为吴家生育，就挑选了一名丫环，让吴佩孚收房做小妾，但直到吴佩孚去世，这个小妾也没有生育。吴佩孚一生终无子嗣。