王肃的父亲王奂是王导第五子王劭的玄孙，因为王奂的堂祖父王球无子而过继为王球的嗣孙，王奂被齐武帝萧赜所杀后，太和十七年（493年），王肃归降北魏，北魏孝文帝任命他为辅国将军，南征义阳。击败齐朝的裴叔业，官至平南将军、豫州刺史。孝文帝改革，王肃多有参与。孝文帝驾崩，王肃为尚书令参与朝政。裴叔业怕遭到齐帝萧宝卷杀害，投降北魏。王肃率军十万接应，大胜，官拜散骑常侍、都督淮南诸军事、扬州刺史。
王肃，字子雍。东海郯（音tan。今山东郯城）人。父王朗，是当时颇有名气的学者。他“高才博雅，而性严整慷慨，多威仪，恭俭节约。”（《三国志王朗传》裴松之注引《魏略》）学识渊博而富才气，为人正直爽朗。曾因“通经”而拜为“郎中”。又因品德优良举为“孝廉”、“茂才”，从此官运亨通，一直做到权力很大的御史大夫。因为他功劳卓著，还封为安陵亭侯、兰陵侯。他把满腹经纶运用到治国安邦的大业上，写了不少“奏议论记”，为国家的治理出谋划策。并对《易》、《春秋》、《孝经》、《周官》等经典作传，以此表达他的思想和见解。王朗渊博的学识、严谨的学风、积极入世的态度，都对王肃产生了重大的影响。
公元195年（汉献帝兴平二年），正是军阀混战剧烈的时期，一代经师王肃在会稽降临到人世。上天似乎有意让王肃一出生就在灾难中受到磨炼。他还在襁褓之中，做会稽太守的王朗就遭到孙策的进攻，兵败逃到东冶，孙策乘胜追击，王朗走投无路，只好投降。孙策把他们安置在曲阿。不久，曹操征召王朗。不甘寂寞的王朗，展转流离，过了数年终于到了中原，被任命为谏议大夫，到了此时，王肃一家才开始过着较安定的生活。