祖冲之字文远，范阳遒人。曾祖父祖台之，是晋朝的侍中。祖父祖昌，是宋代大匠卿。父亲祖朔之，为奉朝请。
冲之爱考查古事，思维机敏。宋孝武帝让他作华林学宫侍从，赐给房宅车服。起初官作南徐州从事、公府参军。
当初宋元嘉年间，用何承天所制定的历法，比古时十一家都精密。而冲之认为还是粗疏，就又造了新历，并上表奏明。孝武帝让朝臣中精通历法的和他论辩，都驳不倒他。恰逢孝武帝死未能施行。
历任娄县令，谒者仆射。当初，宋武帝平定关中，缴获姚兴指南车，只有外形而无内部机关。每当行驰时，得让人在里面转动。升明年间，齐高帝辅政，让冲之考查研究古时的制造法。冲之改造了铜制机械，于是车子随便转动，指示方向却始终如一，自马均以来还没有过他这样的巧匠。当时有北方人索驭駘也自称能造指南车，齐高帝使他和冲之各造一辆，让他们在乐游苑进行比试，结果索驭駘的差得很远，就把他的给烧了。晋朝时杜预有创造才能，曾造欹器，结果改动三次都未成功。齐永明年间，竟陵王萧子良好古，冲之造了欹器献给他，和周代太庙中的没有两样。文惠太子在东宫，见到冲之的历法，奏请齐武帝施行。不久太子一死这事又搁下了。
冲之调任长水校尉，兼任原职。他写了《安边论》，想让朝廷实行屯田，扩展耕地。建武年间，齐明帝想派他去巡行四方，兴办一些对百姓有利的事业，赶上连年战争，最终未能成行。
冲之通晓乐律和博戏，是当时一绝，无人能与之匹敌。因为诸葛亮造有木牛流马，他就造了一种器械，不借风力水力，启动机关就能自己运行，不需人力。又造千里船，在新亭江试航，日行百余里。在乐游苑造水碓磨，齐武帝曾亲自去观看。又特别长于算术。永元二年(500)去世，年七十二。著有《易老庄义》，注释《论语》、《孝经》，注《九章》，编撰《缀述》数十篇。