可是，张辅让安南畏惧，也让朱棣疑虑。1415年，宦官马骐上书：张辅私取壮勇为围子手营的士兵，有异心。那还了得？朱棣将张辅召回了京师，另改派官员代守交趾。优秀的武将被怀疑，优秀的文官也难逃监视。黄福，原是工部尚书，因为被弹劾，被派来了安南。黄福颇有政治才能，“一切镇之以静，上下帖然”，并制止宦官马骐的一些胡作非为之举。
结果，马骐又诬黄福“有异志”。黄福还是被调走了。黄福离开时，交趾人号哭相送，依依不舍。后来，交趾实在稳不住了，朝廷又派黄福回交趾，结果被敌人抓了起来。敌人拜服哭泣：你是我们的父母，你不走，我们也到不了这里！而安南军首领黎利也叹息：大明派遣官吏治理交趾，如果人人都如黄尚书，我怎能造反呢？良吏为排挤，贪墨之辈却在此得意。
排挤张辅、黄服的宦官马骐，在交趾胡作非为，屡屡促起反叛。原本，朱棣为了安抚交趾，下令除粮税外，一切停征！可是，马骐却擅自强行征派大量当地土特产，引发了激烈的反抗！以明朝的监视制度，马骐胡作非为，朱棣不可能不清楚。然而，朱棣不能容忍捕风捉影的“有异志”，却对实实在在的胡作非为不过问，其想要治理好安南显然是不可能了。
高昂的战争成本然治理失败，自然引发了一轮又一轮的反抗。20余年间，反抗此起彼伏，越搞越大。朱棣数次派数万，甚至数十万大军前去征讨。征讨的成本是极其高昂的。早在永乐九年（当时叛乱规模还不大），就从广东运粮万石到交趾。而随着张辅被调回京师，明军的指挥能力也急剧下降，到永乐后期，征战屡屡大败，加之反明者越来越多，黎利的势力发展得很快。
凭大明的国力，要消灭眼前的叛军或许是可以做到的，但是，要想彻底安定安南，则看不到希望。转向的大明朱棣时期，五征漠北，南平安南，迁都北京等大攻城耗费了巨大国力，引发了一些农民起义。因此，朱棣去世后，帝国的继承人开始了“战略收缩”。对漠北的大举进攻，“下西洋”等耗资较大的项目都停了下来。显然，对交趾无休止的用兵也到了要结束的时候了。
因“颜面”而起的战争，以“颜面”而结束此时，黎利传来一条消息：陈氏后人找到了，希望您能再立陈氏后人为安南王。这则消息，给明宣宗结束战争留了一个台阶。大明对安南用兵的借口，不就是要立陈氏后人吗？大明将安南纳入版图的借口，不正是陈氏后人已经被杀绝吗？现在陈氏后人找到了，大明“得偿所愿”了，可以“胜利班师”了。
明宣宗与杨士奇、杨荣商议后，决心结束战争。宣德二年，朝廷下诏：内外镇守、三司、卫所、府、州、县文武吏士，携家来归。明正式撤出了安南。此后，安南继续朝贡，与明保持了宗藩关系。总的来说，直接统治安南，并不符合明帝国的利益。朱棣对安南用兵，更多是出于国威、颜面的原因，而非出于实际利益或者威胁。因此，仅仅20余年后，明宣宗重新拿起《皇明祖训》，中止对安南的直接统治，也就是自然而然的事情了。
