明洪武十三年，即公元1380年，左丞相胡惟庸上书朱元璋，说胡家旧宅里的一口陈年老井突然涌出香甜的醴泉，此乃大明之祥瑞，请皇帝前去观赏。朱元璋龙颜大悦，便带领众人前去观赏。当车队走到西华门的时候，忽然从路旁窜出一个人，拦在车前，阻止通行。此人任凭禁卫军拳打脚踢，甚至手臂被打断，也丝毫不退让。朱元璋心中感觉此人必有要事相告，于是就命卫士将此人押到了跟前。
经过询问，原来此人是西华门内史宦官云奇。但是云奇表明身份以后，便不再出声，只是一个劲向胡惟庸旧宅的方向看去。朱元璋不禁疑窦丛生，就登上高台，向胡惟庸旧宅方向望去。不看不知道，一看吓一跳。但见胡惟庸旧宅亭台楼阁之间隐藏着大批身披铠甲、手持利刃的士兵。
朱元璋倒吸一口冷气，当即就拘捕了胡惟庸，至此，胡惟庸案发。
现在看来，“云奇告变”实在不合乎情理，也更富于戏剧性。试想，朱元璋生性多疑，久经政治磨砺，像“井出醴泉”这类的详瑞之兆怎么会轻易相信。再者，此时大明天下初定，政务繁多，即使朱元璋真的相信胡家旧宅“井出醴泉”，也不大可能草率出行。那么，也只有一种情况可以解释得通，那就是朱元璋想杀胡惟庸由来以久，所谓的“云奇告变”就是朱元璋自导自演，拘捕胡惟庸的借口。
那么，胡惟庸被杀的真实原因又是什么呢？胡惟庸他又做错了什么呢？
君相之争君相之争才是胡惟庸被杀的最主要原因。自秦始皇废除分封，实行郡县制以来，中国历代王朝都在不遗余力地在加强中央集权制，或者说在不断加强皇帝的权力。而加强中央集权制的条件就是处理皇权与相权之争。不管是汉武帝的内朝制还是汉光武帝的“虽置三公，事归台阁”，以及隋唐时期的“三省六部”，无一例外在削弱相权，增强皇权。
胡惟庸早期因深受朱元璋宠信，骄恣渐显，在朝中有恃无恐，尤其在刘伯温死后，更是一手遮天。他不按正常上奏的途径行事，内宦外宦及各司上奏的文书，胡惟庸都先拿来自己翻阅。凡是对自己不利的，统统匿而不报，更是对这些人进行政迫害；而对自己有利的，胡惟庸则不遗余力地进行提拔。
于是乎，那些急着想升官的官员和那些丢官的官员纷纷向胡惟庸靠拢，争相向其献媚，并以重金贿赂于他。这样一来，丞相的权势如日中天，恩威震主，对朱元璋的皇权造成了极大的威胁。朱元璋对此十分不安，他的脑海中就萌发了“弃中书省、废丞相”的念头。不过，丞相一职延续了一千多年，废除绝非一朝一夕。朱元璋此时能做的，就是冷眼旁观，“欲使其灭亡，必先使其疯狂”。朱元璋需要一个合适机会，一个合适理由除掉胡惟庸。
随着胡惟庸的势力越来越大，他愈发狂妄自大。胡惟庸的儿子骑着马在闹市奔行，却从马上摔了下去。恰好此时，路过一辆马车，就把他压死了。胡惟庸见自己的儿子惨死街头，勃然大怒，没有向朱元璋禀告，就私自将驾马车的车夫杀死了。其实，如果胡惟庸如实向朱元璋禀告，朱元璋也会卖胡惟庸一个面子，将车夫杀死为胡惟庸的儿子抵命。而胡惟庸私自行为，就惹恼一朱元璋。胡惟庸见此不妙，就提出用金帛作为赔偿，也被朱元璋驳回。至此，朱元璋所代表的皇权和胡惟庸所代表的相权正式开始交锋。
朱元璋的恼怒加剧了胡惟庸的恐惧。于是，胡惟庸就和中丞涂节、御史大夫陈宁密谋造反，暗地里通知各方追随他的武臣和同党。此时，日本贡使私见胡惟庸，说他们可以派来精兵千人，藏于胡宅。胡惟庸只需要诱导朱元璋前来，到时候，日本精兵就与胡府力士一齐捉住朱元璋。
恰好此时，占城国派使节进京朝贡，胡惟庸私扣使节并且没有把此事上报给朱元璋。朱元璋知道后，勃然大怒，在朝廷上公开审讯此事。但胡惟庸和汪广洋没有主动承担责任，而把责任推给了礼部，而礼部内部又互相推诿责任。朱元璋一怒之下，当场下令拘捕了跟此事有关的大臣，而胡惟庸和汪广洋暂时没有受到斥责。
不久，中丞涂节叛变胡惟庸，向朱元璋密报，说胡惟庸毒死了刘伯温。朱元璋觉得汪广洋应该清楚此事的缘由，就把汪广洋叫来问话。然而，汪广洋矢口否认。朱元璋就以汪广洋结党朋欺，不久就将汪广洋处死了。随着汪广洋身死，中丞涂节害怕他们密谋刺杀朱元璋的阴谋败露，向朱元璋奏发了他们的谋逆之事。朱元璋见废除丞相的时机已经成熟，他亲自审问，称胡惟庸有谋反举动，下令拘捕胡惟庸等人，并将其诛杀。至此，胡惟庸正式案发。胡惟庸案先后涉及御史大夫陈宁、中丞涂节、韩国公李善长、列侯陆仲亨、已故的滕国公顾时的子孙等开国功臣，前后共诛杀3万余人，堪称洪武第一大案。
胡惟庸被杀后，朱元璋遂罢丞相，革中书省，并严格规定嗣君不得再立丞相；臣下敢有奏请说立者，处以重刑。丞相废除后，其事由六部分理，皇帝拥有至高无上的权力，中央集权得到了进一步加强。