淝水之战后不到二年，即太元十年四月，谢安为了避开司马道子，出镇广陵，让出中枢朝权。太元十二年正月，朱序为青、兖二州刺史，代谢玄镇淮阴，征玄为会稽内史，解除了他的兵权。太元十五年，孝武帝以后兄王恭为都督青、兖、幽、并、冀、徐州晋陵诸军事，兖、青二州刺史，镇京口，北府兵为王恭掌握。隆安元年，恭在京口起兵反对司马道子和王国宝，北府兵成为内部火并的工具，次年恭再次起兵，其司马刘牢之反戈击灭王恭，代恭为都督青、兖、幽、并、冀、徐、扬州晋陵诸军事，镇京口。隆安三年，孙恩起义，北府兵又成为镇压起义兵的主要力量。元兴元年三月，刘牢之投降桓玄，旋被夺去兵权被迫自杀，北府兵为桓玄并吞，北府兵重要将领高素、竺谦之、竺朗之、刘袭、刘季武、孙无终均被杀，刘袭兄冀州刺史刘轨及宁朔将军高雅之，刘牢之子刘敬宣投奔南燕慕容德。