祖冲之的原籍是范阳郡遒县（今河北涞水县）。在西晋末年，祖家由于故乡遭到战争的破坏，迁到江南居住。祖冲之的祖父祖昌，曾在宋朝政府里担任过大匠卿，负责主持建筑工程，是掌握了一些科学技术知识的；同时，祖家历代对于天文历法都很有研究。因此祖冲之从小就有接触科学技术的机会。
祖冲之对于自然科学和文学、哲学都有广泛的兴趣，特别是对天文、数学和机械制造，更有强烈的爱好和深入的钻研。早在青年时期，他就有了博学多才的名声，并且被政府派到当时的一个学术研究机关——华林学省，去做研究工作。
后来他又担任过地方官职。公元461年，他任南徐州（今江苏镇江）刺史府里的从事。464年，宋朝政府调他到娄县（今江苏昆山县东北）作县令。
祖冲之在这一段期间，虽然生活很不安定，但是仍然继续坚持学术研究，并且取得了很大的成就。他研究学术的态度非常严谨。他十分重视古人研究的成果，但又决不迷信古人。用他自己的话来说，就是：决不“虚推（盲目崇拜）古人”，而要“搜炼古今（从大量的古今著作中吸取精华）”。一方面，他对于古代科学家刘歆（xin）、张衡、阚（kan看）泽、刘徽、刘洪等人的著述都作了深入的研究，充分吸取其中一切有用的东西。另一方面，他又敢于大胆怀疑前人在科学研究方面的结论，并通过实际观察和研究，加以修正补充，从而取得许多极有价值的科学成果。
宋朝末年，祖冲之回到建康（今南京），担任谒者仆射的官职。从这时起，一直到齐朝初年，他花了较大的精力来研究机械制造，重造指南车，发明千里船、水碓磨等等，作出了出色的贡献。