1906年12月23日生于内蒙古土默特旗塔卜村。
1923年12月在北平蒙藏学校读书时加入中国社会主义青年团。
1925年9月转为中国共产党党员。同年10月被选派到苏联莫斯科中山大学学习。
1927年毕业后留校做翻译工作。
1929年回国，任中共西蒙工作委员会组织委员、书记，从事秘密革命工作。
1931年起兼做兵运工作。
1936年2月，策动在百灵庙的“蒙古地方自治政务委员会”保安队，举行抗日武装暴动，打击日军利用蒙奸西进的部署。
1937年春，为建立和发展蒙古族抗日武装力量，决定利用国民党军番号，组建蒙旗保安总队(后改编为蒙旗独立旅、新编第三师)，他任政治部代主任，并在该部队任中共党委书记。同年9月，带领所部在归绥(今呼和浩特)黑河一带阻击日军进犯。后率部转移到陕北神(木)府(谷)，通过八路军第一二O师与中共中央取得联系，奉命进驻伊克昭盟。
1941年任陕甘宁边区政府民族事务委员会主任委员、延安民族学院教育长。
1942年入中共中央党校第一部学习。
1943年起负责中共西北中央局统战部的蒙古族工作。
1945年6月被选为中共第七届中央候补委员。抗日战争胜利后，回内蒙古地区从事革命工作。同年8月任蒙绥政府主席、中共内蒙古工委书记、中共晋察冀中央局委员。同年10月解散以蒙奸博英达赉为首的“内蒙古共和国临时政府”，并组成内蒙古自治运动联合会，任主席兼军事部长。
1946年4月领导召开解决内蒙古东、西部自治运动统一问题的会议。后任内蒙古人民自卫军司令员兼政委，内蒙古军政大学校长。
1947年5月领导组建内蒙古自治政府，被选为主席。
1948年1月所部改称内蒙古人民解放军，任内蒙古军区司令员兼政委。指挥部队反击国民党军进攻，歼灭封建王公贵族的武装，解放整个内蒙古地区。同时派部队参加辽沈、平津战役。
中华人民共和国成立后，任中共中央内蒙古分局书记、内蒙古自治区人民政府主席，内蒙古军区司令员兼政委，并任中央人民政府委员、政务院民族事务委员会副主任委员兼中央民族学院院长。曾任中共中央蒙绥分局书记、绥远人民政府主席。
1954年起任国务院副总理兼民族事务委员会主任，并曾任中共中央华北局副书记、第二书记，中共内蒙古自治区委员会第一书记、内蒙古自治区政协主席等职。
中共第八届中央政治局候补委员，第十届中央委员，第十一、十二届中央政治局委员，并曾任中共中央统战部部长。第四、第五和第七届全国人大常委会副委员长。在第六届全国人民代表大会上被选为中华人民共和国副主席。乌兰夫还曾被选为第一至第三届国防委员会委员、第五届全国政协副主席。
1955年9月被授予上将军衔和一级解放勋章。
1988年12月8日，因病医治无效，在北京逝世，终年82岁。
