府兵制原起于北魏时期鲜卑人当兵、汉人务农的政策。府兵全家可以免除赋役，当兵成为鲜卑人的专利，这政策明显地带有民族隔离的色彩。到了北周后期，迫于形势，汉人也被募充作府兵。杨坚为北周大丞相时，就下令西魏受赐鲜卑姓的汉人可恢复汉姓，开始破除了鲜卑人当兵、汉人务农的规定。隋开皇十年(590年)，文帝又下令府兵全家一律归入州县户籍，受田耕作，变军籍为民籍，兵士本人则由军府统领。这一措施不但使农业户口大增，促进了农业的发展，而且更适应了民族融合和时代趋势，有利于民族团结和国家统一。但问题出现了，既然府兵制度这么好，那它有为何会被募兵制所取代？唐朝府兵制度为什么会在50年内土崩瓦解？
一、古代军制的问题很多，府兵制完美解决了这个问题
在中国古代的军队中，服从朝廷的管理、军队战斗力和财政问题一直是一个矛盾体。放开了对将领的控制，那军队的忠诚度就成了问题。但是如果对部队进行过分的约束，那战斗力就又成了问题。同时为了供养军队，朝廷还必须承担巨大的财政支出。在东汉末年，朝廷为了镇压黄巾起义，放开了对军队的控制。结果形成了军阀混战的局面。但是如果对军队的约束过分严格，那就对的战斗力就很值得怀疑，就像后来的宋朝一样。所以在南北朝的后期，北方开始推行府兵制度。这套制度几乎解决了以上的所有问题，府兵制的出发点在于一个折冲区内的平民不用在缴纳赋税，但是有战事时，需要自备武器和军粮出征。这就同时解决了兵员和财政的问题，减轻了朝廷的负担。
为了防止将领们扶植私人势力，每当爆发战争，朝廷总是临时派遣一名将领统帅几个折冲区的士兵出战。士兵和将领之间互不认识，也就不存在私人势力的问题。最重要的就是战斗力问题，由于士兵们基本上都相互认识，更有利于在战场上的配合。隋唐两朝均沿用了这一制度，从隋唐两朝的武功就可以看出军队的战斗力，从而可以发现府兵制度下的士兵战斗力极强。在农闲时期，其他的农民们要去服徭役，而这些折冲区内的士兵们可以在一起进行操练。这一制度从军队战斗力、国家财政、将领忠诚度各个方面都达到了很高的要求。唐朝前期仍然使用这套制度，唐朝的疆域达到了鼎盛，突厥、高句丽、契丹等民族全部败走。
二、国家疆域辽阔和战争迁延日久，导致府兵制全面崩溃
但随着疆域的辽阔，府兵制的弊端也随之出现。在南北朝时期，国家的疆域较小，府兵即便是出征打仗也基本上不会延误下一年的农种。但是疆域扩大之后，就大大不同了。河北、山东地区的府兵如果出征进攻西突厥，他很有可能两年之内都回不来。在家里老人和妇女是没有足够的力量从事农业劳动的，而且整片地区劳动力不足，安全问题也无法保证。时间一长，这一地区的经济就几乎处于崩溃的状态。由此同时，府兵们的对手也在发生变化，他们的对手变成了凶悍的草原骑兵。虽然府兵战斗力很强，但伤亡也明显增大。时间一长，一个折冲区内的府兵数量也出现了严重的不足。这一系列的因素都在威胁着府兵制度，它正在逐步崩溃。
随着经济的发展，百姓的生活有了一些提高。很多府兵已经安于家乡生活，再也不愿意出征。在唐太宗的后期，很多折冲区都出现了府兵拒绝出征的情况。还有一些府兵情愿缴纳赋税，请折冲区的长官将他从府兵名额中删除。在武则天之后，由于唐朝将领出现了暂时性的人才凋零。在与周边政权的一系列较量中，唐朝出现了败多胜少的情况。这造成了大量的府兵死亡，剩余的府兵也不再像之前那么拼命。在唐玄宗时期，府兵制度的问题大爆发，这套制度已经彻底崩溃。最终唐玄宗十分无奈的废除了府兵制度，募兵制和节度使制度开始出现。这一制度从表面上看没有任何问题，但是实际上却暗含这危机。
三、唐朝出现了藩镇割据，而宋明两朝极力遏制武将
节度使制度出现以后，确实消除了府兵反应速度不够灵敏的问题。但是朝廷开始对军队失去控制，节度使控制了一个地区的军政大权。而士兵们开始直接听命于节度使，在他们的眼里是节度使养活了他们。在公元755年，唐朝北方的军事将领安禄山发动了叛乱。虽然这次叛乱最终被成功平定，但是唐朝的经济遭到了重创，唐朝的政治格局也出现了藩镇割据的情况。赵匡胤发动兵变建立宋朝之后，开始竭力遏制将领对军队的控制。这样一来，军队的战斗力也明显下降。到了明朝，这个情况也并没有好转，重文轻武的情况持续出现。在明朝威风赫赫的不是那些武将，而是懂得兵法的文官们。在明朝后期，那种儒将连续出现，但是纯粹的武将却并不多见。
唐代府兵制在太宗和高宗统治前期曾经有效地实行，但自高宗后期以至武后时就逐渐被破坏，到玄宗统治时终于被废除。破坏的原因:战事频繁、防御线延长、兵役繁重。