宣德三年，仅做了三年皇后的胡善祥被废除，尽管这个举动遭到了一些大臣的反对，但仍然没有能够阻止朱瞻基想要对废除胡善祥的心，那么一向贤良淑德，为文武百官，大臣所称赞的胡善祥到底哪里惹得朱瞻基不满？让他下定决心想要废后。这件事还要从朱瞻基小时候说起。
永乐十五年，朱棣在位时对朱瞻基甚是宠爱，从小便开始将他当做皇位继承人培养，自然到了成年的时候就开始张罗着提朱瞻基选皇太孙妃，而这时贤良淑德，品性极好的胡善祥便被当做了最佳人选。这一点在《明史列传一后妃》和《万历野获编》卷3等史料中都有记载：宣宗为皇太孙时，纳胡氏为妃，及居东宫，称皇太子妃，宣宗登极为皇后。这在众人看来是幸福的开端，但对于胡善祥来讲，其实是她悲惨命运的开端。
明宣宗朱瞻基，其实喜欢的一直是被封为贵妃的孙氏，孙氏不仅长相好看还比胡善祥早一步认识朱瞻基，或许是先入为主的道理，又或是其他原因，总之朱瞻基心中满意的皇后人选其实是孙贵妃。明宣宗喜欢的孙氏，是山东永城县人。少年时期就颇具美色。当时朱瞻基的母亲张皇后的母亲彭城伯夫人，也是永城人并时时出入宫廷，所以经常就会在张皇后面前说孙忠的女儿非常贤德。张皇后后来将此事告知明成祖，因此孙氏便得了入宫的机会，并由张皇后教育她宫中礼仪。
后来，朱瞻基大婚要下昭选妃，谁知半路杀出个程咬金，朝廷中担任司天官职的人算出胡善祥才是命中的皇后，故上奏，最后册立济宁胡氏为正妃，而与朱瞻基青梅竹马的孙氏只能为嫔。但孙贵妃一直深得朱瞻基宠爱，宣德元年，朱瞻基即位之后，随即便封孙氏为贵妃。按照当时的宫廷礼制，只有皇后被册封后才赐金册宝（印），但朱瞻基却特地为孙氏破格，制金宝赐予孙氏。
纵使给了孙贵妃无上的荣耀，朱瞻基还依然不罢休，想要胡善祥将皇后之位让出。可是明宣宗在对大臣提出废后事宜时却遭到了众大臣的否决，原因是以胡皇后无子，当然这并不足以成为废后的理由，所以朱瞻基便让胡善祥主动提出让出皇后之位，终于，宣德三年，胡善祥被废除皇后之位，出家做了一名道姑。不过，张皇后却因体恤胡善祥，每逢宫中举办大事都邀请她来参加，位置居于孙皇后之上。
其实说到底，胡善祥被废的原因是因为朱瞻基的不喜欢，但是她那样一个安稳沉静，未经大事的性格或许也不是特别适合后宫之主的位置，我们都知道，正统十四年时明英宗朱祁镇被瓦剌所俘，京师告急，明朝也因此陷入空前危机。这个时候是孙皇后采取的主战的策略，让庶子朱祁钰即位才得以化解此次危机，胡善祥是很贤德，但遇到大事不一定会如此果断，况且从这件事中也可以看出孙皇后是一个是经得起大事的人，毕竟当时亲儿子被俘，她要做的传位给庶子的决定也是异常艰难。