征伐则命将充总兵官，调卫所军领之，既旋则将上所佩印，官军各回卫所。”由此可见，五军都督府拥有统兵权，兵部则拥有调兵权。五军都督府与兵部之间的关系并不和睦，一直在明争暗斗。从表面来看，这是两个机构的权力斗争。但是实际上，则是武将勋贵集团与文官集团的博弈。在明朝统治的前期，武将勋贵集团拥有很高的地位，各位国公或者侯、伯，基本上都在五军都督府任职。
随着文官集团整体影响力的上升，很大程度上，挤压了武将勋贵集团的权力空间。尤其是内阁制度形成以后，内阁开始凌驾于六部之上，同时自然也凌驾于五军都督府之上。内阁开始直接触及军事指挥权，与五军都督府发生了激烈的碰撞。至于兵部的地位，自然也是水涨船高。一次军事行动的惨败，很大程度上大大削弱的武将勋贵集团的势力，同时重创了五军都督府。
在明英宗在位时期，明朝开始大规模北伐，反击蒙古瓦剌部落的进攻。但是在土木堡战役中，将近20万明朝精锐力量全军覆灭，明英宗朱祁镇本人被俘。武将勋贵集团中，不少国公、侯爵、伯爵阵亡，武将勋贵集团的能力大大削弱。在这次浩劫中，五军都督府暴露了各方面的问题。明代宗朱祁钰上台以后，亲信官员于谦以兵部尚书的身份提督京营。
在此之前，这一权力一直属于五军都督府。在明代宗在位时期，兵部开始逐步插手武将的任免、各地驻军的训练和管理工作，并且把这些权力牢牢控制在兵部的手里。例如兵部的武选司，开始负责各地武将的升迁和调任。由此可见，五军都督府的地位迅速下降。明英宗朱祁镇复位以后，并没有重新恢复五军都督府昔日的权力和地位。按照《明史》的记载：“凡军制内外相维，武官不得辄下符征发。
自都督府，都指挥司，留守司，内外卫守御、屯田、群牧千户所，仪卫司，土司，诸番都司卫所，各统其官军及其部落，以听征调、守卫、 朝贡、保塞之令。”在明朝统治中期，兵部已经开始逐步架空五军都督府，内阁则更在兵部之上。由于武将石亨曾经密谋造反，引发了明朝皇室对武将勋贵集团的极度不信任，武将勋贵集团的地位和影响力日益衰落。
此时的五军都督府，只剩下了对各省军户和屯田的管理权。兵部则一片片割掉了五军都督府所有的肉，在明宪宗朱见深在位时期，军户和屯田管理权开始划归兵部。在此以后，五军都督府彻底成为了一个虚职的军事机构，主要是为那些武将勋贵集团的子弟们，安插工作机会，从此远离了权力核心圈。对于五军都督府和兵部的关系，《明世宗实录》中出现了一针见血的评论：“凡天下将士兵马大数，荫授、迁除与征讨进止机宜皆属之。
十三年分大都督府为五军都督府，见若以为品秩如其故者，而兵部阴移之，其权渐分矣。所谓五都督者，不过守空名与虚数而已。”由此可见，到了明朝统治的中期，兵部全面架空了五军都督府，文官集团彻底架空了武将勋贵集团。在嘉靖、隆庆、万历时期，明朝各地的总督、巡抚们，以挂职兵部尚书或者兵部侍郎的身份，节制各地的将领们。
至于五军都督府与兵部的工作关系，《明会典》中记载：“在京在外武职袭替优给，都司卫所呈送该府，行奏过送兵部奏请定夺。……后行奏俱改属兵部。”到了明朝统治的末期，基本上出现了文官节制武将的模式，例如朝廷的督师、各地的总督、巡抚均为文官。清朝入关以后，由于自身并没有行政管理经验，因此几乎照搬了明朝的各种行政制度。
