起朱元璋军事领导机构，我们的第一印象应该是他所建立的那个各自独立的五军都督府。
五军都督府统帅全国军队，它与六部中的兵部互相牵制。兵部的职守则是“掌天下武卫官军选授、简练之政”,一旦遇到军事行动，有出兵令而无统兵权的兵部奏请委派某一都督率军出战，有统兵权而无出兵令的都督府则调派非本都督府所属的兵丁归其指挥，“既旋则将上所佩印，官军各回卫所”。很明显，这种体制的目的是既要防范军权旁落，又要对将帅的职权有所掣肘。封建史家自然可以吹嘘它“得唐府兵遗意”，但其弊端却实在不难发现。
五军都督府和兵部的建立，都有其过程。起义之初，朱元璋以“都元帅”身份自掌行枢密院事，亲自指挥全盘军事，后因政务繁忙，就改行枢密院为大都督府，“节制中外诸军”。当时的大都督是他的嫡亲侄子朱文正，即便如此，朱元璋还是很不放心，规定一切大小军政，包括军官任免、军队调遣、战役指挥、战略考虑等等，都要由“都元帅”决定，大都督府不过是主持后勤给养、军丁军户管理、考绩、马政等日常事务。大都督当然也要统军作战，但只能奉命进止，不许擅做主张。与此同时，朱元璋又在行中书省内颇意味深长地设四部：户部、礼部、刑部和工部。之所以缺少传统的“六部”中的吏部和兵部，原因很简单，吏部掌人事，兵部掌军事，此种大权，岂容假手他人！
1364年，朱元璋即吴王位。很快，他借口朱文正有罪，又对大都督府作了大规模调整，虽然仍保留大都督府，但悬空大都督一职不实授，而改设左、右都督、同知都督、副都督和佥都督若干人，均为大都督府的长官，以便众设多官而分其事权。按朱元璋的经典言论，则是要让这些人“彼此颉颃，不敢相压，事皆朝廷总之，所以稳当”。
1380年，胡惟庸案发，朱元璋借机改组大都督府，将其分为前后左中右五军都督府，分别与兵部平行工作。值得我们注意的，倒不仅限于都督府的分权，还应该包括对各都督府所控制的卫所，朱元璋也别开生面地采用了插花式的办法，让全国各地的都司、卫所，交叉分布。
京城的驻军，如左军都督府负责留守左卫、镇南卫、水军左卫、骁骑右卫、龙虎卫、英武卫、渖阳左卫和渖阳右卫；右军都督府则负责留守右卫、水军右卫、开德卫和广开卫，分布较为细屑，不必太深究。
以下是按《明史·兵志》制成的各都督府京外驻军分布图表：
都督府分布地左军都督府浙江都司、辽东都司、山东都司右军都督府云南都司、贵州都司、四川都司、陕西都司、广西都司中军都督府直隶都司、中都都司、河南都司前军都督府直隶都司、湖广都司、福建都司、福建行都司、江西都司、广东都司后军都督府北平都司、北平行都司、山西都司、北平三护卫、山西三护卫一目了然，各都督府的驻军，省份之间有交叉，省份之内也有交叉。在天女散花之中，洪武帝的用心良苦，也着实让人感动。
朱元璋的亲军第领，也别有特色。“初，太祖取婺州，选富民子弟充宿卫，曰御中军。已，置帐前总制亲兵都指挥使……而金吾前后、羽林左右、虎贲左右前后十卫，以时番上，号亲军。有请，得自行部，不关都督府”，这是十卫；不久，朱元璋“设腾骧等四卫，亦系亲军”，由太监负责训练；再后来，他又将他的亲军队伍扩充到二十二卫，人数占全国总兵力的31.4%。在这二十二卫特种部队中，包括有在洪武十五年（公元1382年）设置的锦衣卫，“所属有南北镇抚司十四所，所隶有将军、力士、校尉，掌直驾侍卫，巡察缉捕。其众自为一军，下直操练如制，缺至五十人方补”。锦衣卫后来发展成天下闻风丧胆的特务机关，应该说，也是它自然而合理的发展趋势。
在以“人治”为特色的传统官僚体制中，朱元璋的所作所为，概而言之，两条而已：诛杀功臣，分封皇子。
诛杀功臣的时机，朱元璋掌握得颇到火候。早在为吴王位时，他与詹同谈及宋代宰相赵普助赵匡胤收诸将兵权一事，便情不自禁地赞叹道：“使诸将不早解兵权，宋之天下必不五代若也。普虽忌刻，其功多矣”。但由于直到洪武二十年，四川、云南才归于统一，蒙古兵患压力渐次减轻，元勋功臣的兵权也悄悄转入他的诸位儿子手中，朱元璋这才开始对功臣动手。只是此时的他，却显现不出一点儿“杯酒释兵权”的宽容与大度，反而在一片血海之中，为自己留下了千古骂名，“明祖藉诸功臣以取天下，及天下既定，即尽取天下之人而杀之，其残忍实天下所未有”。
洪武一朝，列爵公侯者59人，除1人受封于洪武二十五年，且马上即被削职外，其余受封者均在洪武二十三年之前。而此年的李善长案及十年前的胡惟庸案，朱元璋共杀掉16人，加上死去的8人，已占总数的40%。等到了洪武三十一年，诛杀加病死外，仅剩下长兴侯耿炳文和武定侯郭英两人。
朱元璋杀人不计血亲，即如侄子朱文正、外甥李文忠，当他认为有必要加以收拾，仍是一个被鞭死，一个被毒死。那么，这些人就真的威胁了他的统治地位吗？恐怕未必。洪武九年，叶伯巨上书说：“公卿大臣，猛将谋帅，外拥数十万众，驰以一介之使，拱手听命，莫敢后时，安有抗衡之患”？即如朱元璋平生最为得意的屯田制，竟也成了他安排“富裕劳动力”的绝好出路：“诸勋臣自就第奉朝请外，悉以屯练军之任之，不使预国事也”。
对于诸皇子的分封，朱元璋进行的更是有条不紊。洪武三年，他封朱棣等10人为王，十一年封朱柏等5人为王，二十四年又封朱权等6人为王。在封王的同时，他还逐渐扩大诸王的权力：八年，命诸王讲武中都；九年，命朱棣等人治兵凤阳；十年，以亲军增各王府护卫数；二十二年，设宗人府，由诸王管理；二十三年，派燕王朱棣与晋王朱棡出征蒙古，颍国公傅友德等人听其节制；二十六年，朱棡再次出塞统兵，冯胜、傅友德、王弼等大将被召回，部下全划归燕王与晋王，“凡军中赏罚，大者以闻，小者从宜处分”。不久，冯胜、傅友德、王弼相继自杀，辽宁到山西的北部边防线，顺利转入诸王手中，他的委“诸王守边”的目的，圆满完成。
当然，此种开历史倒车的做法，显然无法长久维持。靖难之役后，一举撕破朱元璋奉承为圭皋的“立嫡以长不以贤”的朱棣，便毫不犹豫地对其进行改造，因而使之全面瓦解。不过，由朱元璋一手造成的另一个后果，即他愈来愈庞大的朱家子孙，则仍是整个国家最难以负担的负担。
总之，在朱元璋那里，我们既找不到秦汉时代拔剑击柱、狂歌豪饮的粗犷，也看不出隋唐时玉树临风、绮丽蕴藉的洒脱。在由封建社会向近代化国家的转型过程中，朱元璋所高举的那一张庞杂而细密的大网，在极力保证了自己权力发挥至极点的同时，也付出了高昂的代价。
尽管朱元璋一方面以“山河奄有中华地，日月重开大宋天”的气势，将蒙古人赶到了长城以北，因而成为汉民族的英雄；另一方面又以贫寒的游方僧人身份，一跃成为普天黎元的命运操纵者，因而最终完成了数千年来千百万农民梦寐以求的“皇帝轮流坐，明年到我家”的乌托邦梦想，我们仍不妨说，朱元璋难以担当起“伟人”一词，十四世纪的中国，是一个缺乏伟人的时代。