他的祖父李虎是西魏的左仆射，封陇西郡公，官至太尉，是西魏的八柱国之一，死后被追封唐国公。李渊的父亲李昞，袭封唐国公，是北周的安州总管和柱国大将军。李渊含着金钥匙出生，七岁就袭封为唐国公。
说起来，李渊和隋朝皇帝还是亲戚，他和隋炀帝杨广是姨表兄弟。公元617年，李渊被任命为太原留守，这是个十分重要的职位，因为太原是军事重镇，饷粮丰厚，储备的军粮可供十年之用，所以李渊在太原的势力很大。隋朝末年，天下大乱，各地的农民起义军层出不穷。李渊趁着镇压起义军的机会，不断壮大自己的军事力量，而且让自己的次子李世民出面，广交天下的英雄豪杰。
起兵始末
在李世民结交的朋友中，有一个人叫刘文静。刘文静原本是晋阳的县令，因为跟瓦岗寨的起义军首领李密有亲戚关系，因此受到株连，被隋炀帝下令逮捕，关进晋阳的监狱。
李世民去监狱里探望刘文静。刘文静此人可一点都不文静，他素有谋略，早就看出李世民不是一般人，此刻自己以反贼的亲属身份深陷牢狱，更是没有什么可顾忌的了，索性向李世民提议起兵造反。李世民早就有这个心思了，二人一拍即合。
可是光李世民一个人想干还不行，关键还要自己的老板兼老爸李渊拍板才行。虽然当皇帝的诱惑足够大，可是李渊这个时候在太原基本上也已经是个土皇帝，日子过得还算舒坦，起兵造反的风险毕竟太大，搞不好不仅土皇帝做不成，而且还要搭上全家的性命。
所以李世民对于说服李渊没有十足的把握，他深知，行非常之事必要有非常之手段，为了做成大事，就算是“坑爹“也在所不辞。
他想到了一个“坑爹“的主意，而且这个主意十分有水平，坑得自己的爹一点脾气都没有，而且还会很爽。因为他的主意就是：请自己的爹泡妞。
堂堂的太原留守泡的肯定不能是普通的妞，于是李世民找到了一个人帮忙：晋阳宫副监裴寂。
裴寂(573年-629年)，字玄真，蒲州桑泉(今山西临猗)人，唐朝宰相
晋阳宫是隋炀帝杨广的行宫。众所周知，杨广是个风流好色的皇帝，他每到一处地方，都会修建行宫，挑选美女入宫供他淫乐，而宫监的主要工作就是帮他管理行宫的各项事务，包括美女。
当时的李渊任晋阳宫监，而裴寂是副宫监，两人关系亲密，是铁哥们。
一天，裴寂请李渊喝酒，两人吃着火锅唱着歌，心情十分舒畅。喝到高兴处，裴寂说起了醉话：“要有风，要有肉;要有火锅，要有雾;要有美女，要有驴!”
李渊也醉得不轻，还没等他领会过来裴寂的话到底是什么意思，他就看见几个美女朝他走了过来。然后，他就糊里糊涂地被美女扶上了床，后来……
一夜无话。交配交之人，做爱做的事，这两件人生的大事，李渊都做到了。那天晚上风流过后，他笑着向自己的知心好友裴寂道谢。可当裴寂告诉他昨晚上那几个美女的身份时，他就再也笑不出来了。
原来，那几个美女是晋阳宫中的宫女。换句话说，那都是皇帝的女人。动了皇帝的女人，李渊吓得魂都没了：“什么，你这不是玩我吗?”他那天和美女玩得很爽的时候，怎么也想不到自己却被裴寂给玩了，而让他更想不到的是，此事的幕后指使者正是自己的儿子：李世民!
裴寂赶紧解释：“这可不关我的事啊，全都是您二公子李世民的主意。”李渊哭笑不得，连他也说不清儿子这算是帮他还是害他。正在这个时候，有一个人出来搅了局。
此人是李渊下属的马邑(今山西朔州市)鹰扬府校尉刘武周，他在马邑发动兵变，自立为天子，并与北方的突厥勾结，攻破楼烦郡，进占汾阳宫。
小小的一个军官，居然搞出这么大的事情来。隋炀帝本来就听说李渊在太原招兵买马，早已对他有了猜疑之心，现在发生了这种事，更是气不打一处来，准备抓李渊到江都治罪。
李世民眼看时机成熟，趁机游说自己的老爹：“事已至此，既然您玩都玩了，我们不如玩把大的。反了吧。”
李渊想了想，造反的话将来可能会送命，可不反的话可能现在就会送命，于是他长叹一口气：“也罢，今后咱们家破人亡也是因为你，化家为国也是因为你。听天由命吧。”终于下定决心。
李渊的大儿子李建成、四儿子李元吉以及女婿柴绍从各地赶往晋阳，等这些人一到，李渊正式宣布起兵反隋，拉开了大唐王朝创业的序幕。