2000年，15岁的菲尔普斯首次参加了美国奥林匹克选拔赛 ，后被选中，作为美国68年来最年轻的奥运游泳选手参加了悉尼奥运会，获得200米蝶泳的第5名 。
比赛刚一结束，教练鲍曼就立刻让菲尔普斯继续训练。2001年，在美国国内举行的一次游泳比赛上，16岁的菲尔普斯打破了200米蝶泳世界纪录 。同年，他在福冈世锦赛上赢得了职业生涯中第一个世界冠军头衔 。此时鲍曼为菲尔普斯制定了一份魔鬼训练计划：每天早上5点起床，一天训练两次，每周训练6～7天，加起来每周至少要游8万米。为了让他专心训练，鲍曼有意不让他接触社会，禁止他参加任何派对或者商业活动 。
在2003年巴塞罗那世界游泳锦标赛期间，他获得6块奖牌，创造了5项世界纪录 ，其中100米蝶泳和200米个人混合泳的两项新纪录是在同一天创下的。同时，他被评为2003年度世界最佳男子游泳运动员 。
2004年雅典奥运会，菲尔普斯夺得男子200米、400米个人混合泳，100米、200米蝶泳，4×200米自由泳接力和4×100米混合泳接力6枚金牌，以及200米自由泳和4×100米自由泳接力2枚铜牌 。与此同时，鲍曼也改变训练计划，开始对菲尔普斯进行陆上力量训练。除了大力改进蛙泳技术外，鲍曼尤其重视训练菲尔普斯的腿部力量 。同年年末，19岁的菲尔普斯在《体育画报》记者布莱恩的协助下，完成了他的第一部自传《水面之下》 。
2008年8月10日，男子400米混合泳，菲尔普斯以4分03秒84打破世界纪录，并夺取该届奥运会个人首金。8月11日，男子4×100米自由泳接力，决赛美国队的第一棒就是由菲尔普斯担任，最终美国队以3分12秒23改写世界纪录 。8月12日，男子200米自由泳，菲尔普斯以1分42秒96打破世界纪录并夺取金牌 。8月13日，菲尔普斯1分52秒03夺取本届奥运会第四金并打破世界纪录 。8月13日，菲尔普斯夺得200米蝶泳冠军之后不久，就带领美国队夺得男子4×200米自由泳接力金牌，并以6分58秒56打破世界纪录，菲尔普斯收获个人本届奥运会第五金 。8月15日，男子200米混合泳决赛，菲尔普斯以1分54秒23打破世界纪录并夺取个人本届奥运会第六金 。8月16日，男子100米蝶泳，菲尔普斯以50秒58获得冠军 。8月17日，男子4×100米混合泳接力，美国队以3分29秒34夺冠并打破世界纪录，菲尔普斯收获个人该届奥运会第八枚金牌，超越施皮茨成为单届奥运会夺取金牌最多的选手 。 2009年世锦赛，7月27日，男子4x100自由泳接力决赛，美国队以3分09秒21的成绩打破世锦赛纪录同时摘得金牌，菲尔普斯获得该届世锦赛个人首枚金牌 。7月29日，在男子200米自由泳决赛中，菲尔普斯以1分43秒22获得银牌 。7月30日，200米蝶泳，菲尔普斯以1分51秒51的成绩获得冠军，并打破世界纪录 。8月1日，在男子4x200自由泳接力决赛中，美国队以6分58秒55的成绩夺冠，并打破世界纪录，菲尔普斯获得该届世锦赛第三金 。8月2日，在男子100米蝶泳比赛中，菲尔普斯以49秒82的成绩夺冠 。8月3日，8月3日在最后一个项目男子4x100米混合泳接力的决赛中，菲尔普斯领衔的美国队以3分27秒58的成绩破世界纪录摘金 。
2011年7月27日，世锦赛男子200米蝶泳项目，菲尔普斯以1分53秒34的好成绩收获一枚金牌 。
2012年奥运会，7月29日，菲尔普斯以4分9秒28的成绩获得第四名 。7月30日，美国队以0.45秒的劣势屈居亚军 。8月1日，在200米蝶泳决赛中，菲尔普斯获得银牌 。8月1日，男子4x200米自由泳接力决赛中，菲尔普斯第四棒（1:44.05）率领美国队以6分59秒70夺冠 。8月3日，男子200米混合泳决赛中，菲尔普斯以1分54秒27的成绩获得金牌。8月4日，在伦敦水上运动中心男子100米蝶泳决赛，菲尔普斯以51秒21夺冠 。8月5日，美国队的成绩是3分29秒35，菲尔普斯拿到伦敦奥运会上的第四枚金牌，这是他拿到的第22枚奥运奖牌，第18枚金牌 ，超越前苏联体操名宿拉蒂尼娜所保持的18枚奥运奖牌的纪录，成为奥运历史上获得奖牌及金牌最多的运动员 。
2012年8月4日，菲尔普斯选择退役 。
2014年4月15日，菲尔普斯正式宣布复出。
2016年3月8日，菲尔普斯表示在参加完里约奥运会之后将退役。
