祖冲之字文远，范阳遒人也。曾祖台之，晋侍中。祖昌，宋大匠卿。父朔之，奉朝请。
冲之稽古，有机思，宋孝武使直华林学省，赐宅宇车服。解褐南徐州从事、公府参军。
始元嘉中，用何承天所制历，比古十一家为密。冲之以为尚疏，乃更造新法，上表言之。孝武令朝士善历者难之，不能屈。会帝崩不施行。
历位为娄县令，谒者仆射。初，宋武平关中，得姚兴指南车，有外形而无机杼，每行，使人于内转之。升明中，齐高帝辅政，使冲之追修古法。冲之改造铜机，圆转不穷，而司方如一，马钧以来未之有也。时有北人索驭驎者亦云能造指南车，高帝使与冲之各造，使于乐游苑对共校试，而颇有差僻，乃毁而焚之。晋时杜预有巧思，造欹器，三改不成。永明中，竟陵王子良好古，冲之造欹器献之，与周庙不异。文惠太子在东宫，见冲之历法，启武帝施行。文惠寻薨又寝。
转长水校尉，领本职。冲之造安边论，欲开屯田，广农殖。建武中，明帝欲使冲之巡行四方，兴造大业，可以利百姓者，会连有军事，事竟不行。
冲之解锺律博塞，当时独绝，莫能对者。以诸葛亮有木牛流马，乃造一器，不因风水，施机自运，不劳人力。又造千里船，于新亭江试之，日行百馀里。于乐游苑造水碓磨，武帝亲自临视。又特善算。永元二年卒，年七十二。着易老庄义，释论语、孝经，注九章，造缀述数十篇