黄维，于1904年出生在了江西贵溪盛源乡的一户农家，他的父亲在他小的时候就去世了。成绩优异的黄维在鹅湖师范学校毕业后，就回到了家乡担任小学教员。后来，因当地的乡绅交恶而被迫离开了家乡。
之后，在别人的介绍下，他成为了黄埔军校第一期的学生，跟陈赓是同窗。后来，黄维和陈赓走上了截然不同的道路，黄维和宋希濂等人，选择继续追随黄埔的校长蒋介石，而陈赓和徐向前毫不犹豫的选择了共产党。
后来，黄维到了国民党的陆军大学特别班学习了三年，毕业后，黄维受到了担任第十八军军长陈诚的喜爱，黄维被陈诚提升为第三十一旅的旅长。
1937年的时候，黄维奉命到德国深造一年，但是因为抗日战争的爆发，他被提前召回了国内。9月份，黄维被任命为第十八军第六十七师师长，在淞沪会战的罗店战役中，他面对的鬼子的猛烈进攻，硬生生的守了一个星期，整个师部除电报员一人外，就连炊事员和文书都拿着枪上阵了，三个团长牺牲了一位，另外两位都身受重伤，活着的人连一个团的人数都不够。罗店战役也是黄维的成名之战，但也有人说他的指挥太死板，因此落下了个“书呆子黄维”的名声。
1938年，此时的黄维已经升任为第十八军的军长了，他还受到了蒋介石的召见。武汉会战时，黄维率领第十八军和其他的友军部队对鬼子的第九师团进行了截击，在马回岭地区和鬼子展开了激烈的战役，迫使鬼子迂回德安的计划落空。
后来在淮海战役中的时候，他落入了陈赓的圈套，被俘虏了，当他知道对手是老同学陈赓时，他说：败在陈赓手上不算冤枉，因为陈赓是我的同班同学 ，在学校的时候我就不是他的对手！为什么说黄维是彭德怀的克星呢？因为在赣州的时候，他与彭德怀交战时，彭德怀被打得头破血流。
蒋介石向来就推崇曾国藩的“用人之术”，黄维是黄埔一期的嫡系，还受到了国民党元老陈立夫的举荐，因此他深得蒋介石的赏识，他对黄维有“知遇之恩”，蒋介石曾把一张相片送给他留纪念，并且还把黄维的号从“悟我”改为了“培我”，这就可以看出来蒋介石对他的栽培之心有多重，后来还把“五大主力”之一的十八军交到了他手中。黄维的顶头上司陈诚对黄维恩重如山，很多人都称黄维是“陈诚身上的影子”，不管怎么说，他和陈诚一样都是国民党优秀的将领！