在南北朝时期，朝代常因为军权流入权臣手中而更替。南朝的军事制度大至延续东晋募兵制。北朝在军事制度方面，在北魏初期采行兵民合一的部族兵制，统一华北后逐渐成为世兵制。北朝后期出现府兵制，成为隋唐兵制的基础。南朝兵种以步兵和水军为主，骑兵较少。兵源原本来自世兵制。但是因为战争的消耗、士兵的逃亡和被私家分割，部分兵户变为民户，兵源趋于枯竭，于是改以募兵制为主。南朝军队区分为中军(亦称台军)及外军。中军直属中央，平时驻守京城，有事出征。在南朝宋时，宋武帝刘裕加强皇宫兵力，以图扭转东晋以来外强内弱的局面。
然而，由于宗室自相残杀而失败，历朝屡次有篡位之事发生。外军则归各地都督管制。都督多兼刺史，而且常与中央抗衡 。北朝方面，北魏军队在初期以鲜卑骑兵为主力，其补给是由各部自行掠取。在统一华北过程中，汉族逐渐加入军队。当攻城战增加后变为步、骑兵混合。之后步兵成为主力兵种。北魏统一北方后，军队分为中军、镇戍兵和州郡兵。中军在平时守卫京城，有事则成为对外作战的主力。镇戍兵是为保卫边防而设置的。镇相当于州、戍相当于郡。初时仅设于北部边境，后来扩展到南部边境。州郡兵，是维持诸州治安的军队，有时也充作镇戍兵或是随军出征。北魏后期也逐渐形成固定的兵户 。