百里奚饱读诗书，才学过人，可是家境贫困，加上虞国宗法制度森严，平民没有希望入仕为官。百里奚的妻子杜氏是个很有见识的女子，深知自己丈夫是旷世奇才，于是就鼓励百里奚出游列国求仕 。
在百里奚出游那天，家中已经揭不开锅了。杜氏一大清早起来，宰杀了唯一的一只下蛋母鸡，劈了门闩炖母鸡，煮小米饭，给丈夫饯行。
百里奚从南阳出游求仕后，历经宋国、齐国等国家，因为朝堂里无人，都没有得到录用。在齐国，百里奚陷入困境，一度沿街乞讨，继续求仕生涯。在齐国郅地，他遇见了蹇叔，两人一番高谈阔论，就结为知己。
此后，在蹇叔的举荐下，到虞国当了个大夫。但虞国国君是个爱财如命的国君，在收了晋国的垂棘（垂棘地方产的宝玉）和宝马等财物以后，就答应借道路给晋国，让晋国途径虞国去征讨自己的邻国虢国，也是虞国的同姓兼同盟国。百里奚对虞国国君述说唇亡齿寒的道理，在劝说无效的情况下，闭口不再劝谏，并对同僚宫之奇说：“对蠢人直言相劝，无异于把珍宝丢弃在路上。” 果然，晋国灭虢国后，把矛头指向虞国。
公元前655年，晋国（献公）灭掉虞国，俘虏了虞国君及其大夫百里奚。由于他拒绝在晋国做官，被晋国充作奴隶（媵人），在穆姬嫁给秦穆公时候，陪嫁到秦国。百里奚在去秦国的途中，逃回到楚国。
楚国国君楚成王听说百里奚善于养牛，就让百里奚为自己养牛。刚当上秦国国君的秦穆公，名字叫任好，是一位胸有大志的国君，听说了百里奚是人才，就想重金赎回百里奚。秦穆公的谋臣公子絷说：“那楚成王一定是不知道百里奚的才能，才让百里奚养牛。若用重金赎他。那不就等于告诉人家百里奚是千载难遇的人才吗？”秦穆公问：“那我该怎么样才能得到百里奚？”公子絷说：“可以贵物贱买，用一个奴隶的市价，也就是五张黑公羊皮来换百里奚。那样楚成王就一定不会怀疑了。”
当百里奚被押回秦国后，秦穆公亲自接见了百里奚。百里奚说：“我是亡国之臣，哪里值得国君垂询！”穆公说：“虞君不用你，才使你被掳，并不是你的过错。”秦穆公亲自解除了他的奴隶身份，并与他商谈，讨教国家大事。两人一谈就是三天，言无不合。穆公十分高兴，要拜其为上大夫（上卿），委以国政，实际上就是把秦国的军政大权都交给了百里奚。百里奚坚决辞让不受，并推荐自己的好友蹇叔当上卿。最后，秦穆公就让他用很重礼，将蹇叔请来秦国，让他和蹇叔一道做秦国的上大夫。因百里奚是秦穆公用五张黑公羊皮换回来的奴隶，故世人称百里奚为“五羖大夫”。羖，就是黑公羊皮的意思。
秦穆公用五张黑公羊皮换来了大能人百里奚，封他做秦国的上大夫，即秦国的宰相。
百里奚曾经颠沛流离，筚路蓝缕，历经艰辛，十分了解民间的疾苦，他主政后尊民爱民，勤勉政事，即使劳累也不坐车，酷暑炎热不打伞，在国内巡游不带随从，不设武装防卫，获得了秦国人民的信赖。
百里奚将安抚、教化、缉和境内各民族，发展生产，充实国力放在了首位。为官为政，不贪恋权势，不贪图富贵，而是要大济天下苍生。他敬惜民生民力，鼓励民众开边垦荒，提倡教化，开启民智，并按照周朝的官制和朝仪，改变了秦国落后的国体，将中原先进科技文化、政治和耕作技术散布于境内各民族。
在百里奚的励精图治下，秦国府库充盈，百姓安乐，秦国短期内便得到了大治，境外的巴、戎等少数民族为秦国威势所慑服，纷纷归顺亲附。
一时间，百里奚成了秦国最受尊敬的人。
然而，百里奚并不快乐。每当忙完了繁琐的政务，每当日落，每当暮色四起，就有一种浓重的寂寞和孤独袭上他的心头。
他还是那么怀念生死未卜的老婆孩子，有时，屋子里已经很黑了，他也不许下人点灯火，他一个人端坐在黑暗中，辨认着黑的颜色、品尝着黑的滋味，听着自己的心音，自己跟自己说话。老婆啊，你到底在哪儿？孩子啊，你过得怎么样？
一天夜里，百里奚同样在屋子里端坐，百无聊赖。
院子里相府的乐工在拨弄着琴弦，叮叮咚咚，有一搭没一搭。
不知什么时候，琴音一变，呜呜咽咽，如泣似泣，并伴有歌声响起：
百里奚，五羊皮！忆别时，烹伏雌，舂黄齑，炊扊扅。今日富贵忘我为？
百里奚，五羊皮！父梁肉，子啼饥，夫文绣，妻澣衣。嗟乎！富贵忘我为？
百里奚，五羊皮！昔之日，君行而我啼，今之日，君坐而我离。嗟乎！富贵忘我为？
一开始，百里奚并不怎么留意，待听清楚了歌声里有自己的名字，便竖起耳朵细听，渐渐听清了歌词大意，似乎是指责百里奚忘恩负义，只知道自己享乐，忘记了老婆孩子。
百里奚越听越不对劲，歌里唱有离别时杀老母鸡、砍门闩做柴的细节，这、这唱歌的人是谁啊？莫不成，是、是……她？百里奚再也坐不住了，踉踉跄跄地从黑暗的屋子里冲出，直奔大院，嘴里哆哆嗦嗦地叫道，老、老婆，是、是你吗？
院子里正在抚琴唱歌的是一个头发花白的老妇人，听了百里奚的呼唤就止住了手，抬起了头，颤抖着声音说，老头子，是你吗？
这个老妇人正是百里奚分别了四十多年的结发妻子杜氏！
原来，杜氏自丈夫离别之后，家乡遭遇上了灾荒，没奈何，只好带上儿子外出逃荒，风霜江湖、含辛茹苦。这年流落到秦国，听说秦国有一个人人敬重的大夫名字也叫百里奚，惊喜之余，也有些担心，担心这个百里奚只是跟自己的丈夫同名同姓而不是自己的丈夫。于是，她设法到百里奚府中当了洗衣的佣人，希望能见到大夫百里奚，好好认一认，到底是不是自己的丈夫。恰巧遇上了乐工弄琴，就大起了胆子，借了琴，自弹自唱，指责大夫百里奚抛妻弃子，以引他出来相认。
夫妻两人相见，当场就抱头痛哭起来。
秦国上下知道了这件事，都为百里奚不忘旧情的品质所感动。
秦穆公也特意送来了许多财宝馈赠，以示祝贺。
百里奚的儿子孟明视已经四十开外，长得堂堂一表、凛凛一躯。秦穆公心中喜欢，将他拜为大夫，与蹇叔的两个儿子西乞术、白乙丙合称“三帅”，掌管秦国军队。