有人认为，这可能和他的恋爱与婚姻经历有关。
2009年，武汉大学教授在“国学班”上课时，对孔子为什么会发出“唯女子与小人为难养也”的感叹，推测出两个原因：一是孔子可能在谈恋爱的过程中受过挫折;二是孔子在婚后的夫妻生活不太美满。
孔子
孔子在恋爱过程中是否受过挫折，不得而知，但有这个可能。孔子是一个“白眼仁多，黑眼仁少，鼻孔外翻，牙齿缝大，脑袋四周高中间低，活像个倒扣的痰盂”的人。
孔子的长相参见《史记·孔子世家》、《荀子·非相》、《韩诗外传》、《论衡·骨相》、《白虎通·寿命》等。
这就是说，这种形象不是很讨女人喜欢，而且家境不好，只靠寡母为生，因而在青春期受过女子的冷落与白眼、落下心理阴影，并不是不可能的。
不过，这总是推测，至于他的夫妻生活不太美满，却是真真切切的——孔子是个离过婚的男人。孔子那个时代不叫离婚，叫“出妻”，也就是后来所说的“休妻”，孔子出妻是有据可考的。
孔子
《礼记》记载，“门人问诸子思曰：‘昔者子先君丧出母乎?’”子思是孔子的孙子，以上是说门人问子思：“从前你的父亲为被休出的母亲(即孔子之妻)穿孝服、守丧礼吗?”
宋代的朱熹对此有个注解：“伯鱼之母出而死。”伯鱼是孔子的儿子，这段史料证明孔子确实离过婚。
夫妻离婚，说明在一起生活不幸福，过得不好。孔子的夫妻生活过不好，这是很有可能的。孔子是一个以事业为重的男人，妻子对此不一定理解。
孔子
孔子为了推销自己的政治主张，实现自己的理想，长年在外，周游列国，屡屡失败，甚至如丧家之犬，怎么顾得上老婆孩子?老婆要养上抚下，长年见不到丈夫，又看不到丈夫的前途所在，怨恨与矛盾是很可能产生的，孔子前行则道路崎岖，同时“后方”又不稳定，于是找个理由出妻也是必然的，对此，在某种情况下发出“唯女子与小人为难养也”的感慨也是顺理成章的了。
儒家提倡修身、齐家、治国、平天下，“一室之不治，何以天下为”，孔子活着时，在政治上没有大的成就，不知道是不是家没有“齐”好?