中国科学技术大学的诞生具有鲜明而深刻的时代背景。20世纪50年代，正值以原子能、计算机、半导体、激光、生物技术、航空技术为代表的新兴科学技术的快速生长期，科技进步为人类展现出一个全新景象。然而，中国当时的科技力量和综合国力十分薄弱，难以适应国家发展和国际竞争的需要。作为全国学术科研中心的中国科学院虽拥有众多的高级科学人才，但急需补充优秀的后备力量，特别是国内新兴技术学科方面的尖端科技人才。而当时从高等学校分配的毕业生，在数量和质量上都难以满足需要。在这种情况下，利用中国科学院自身优势，创办一所培养新兴、边缘、交叉学科尖端技术科技人才的新型大学，就成为科学院领导和许多科学家的共同构想。
1956年，党中央发出“向现代科学进军”的号召，制定出《1956-1967年科学技术发展远景规划》 ，新中国的科技事业进入了快速发展阶段。当时的中国，最新技术的应用尚处在萌芽阶段，科技战线急需补充优秀的后备力量。于是，利用中国科学院自身优势创办一所培养新兴、边缘、交叉学科尖端科技人才的新型大学成为当务之急。
1958年5月9日，中科院党组向聂荣臻副总理呈递办学报告，并聘请华罗庚、钱学森、马大猷、贝时璋、严济慈、吴有训、柳大纲、赵九章、赵忠尧等一批国内科学家兼任校系领导。 1958年9月20日，中国科学技术大学成立暨开学典礼在中国人民解放军政治学院大礼堂隆重举行。郭沫若作题为《继承抗大的优秀传统前进》的致辞，聂荣臻副总理作题为《把红旗插上科学的高峰》的讲话。中国人民大学校长吴玉章、北京大学副校长周培源等代表兄弟院校领导到会祝贺并讲话。次日，《人民日报》、《光明日报》均以《我国教育史和科学史上的一项重大事件》为题在显著位置报道了中国科大的诞生。
从此，每年9月20日，成为校庆纪念日。 1966年，“文革”爆发，中国科大的教学科研工作被迫停顿。1970年，迁入安徽省合肥市办学。南迁使学校仪器设备损失2/3，教师流失50%以上，教学、生活用房严重不足，截至1972年，全校讲师以上职称的教师不足百人。
1975年，学校在全国范围内挑选了300多名1967-1970届毕业生，举办“回炉班”，经过两年以上的培训后补充师资。
1977年8月，中国科学院在北京召开了中国科大第一次工作会议，提出科大既要成为教学中心，又要成为科学中心，并制订了一系列拨乱反正的改革措施。 80年代末，科大制定大学生科研计划，设立专项科研经费，开放部分实验室供学生使用；大力发展新型工程技术学科。
1983年12月，邓小平在一份关于中国科大的报告上批示：“据我了解，科技大学办得较好，年轻人才较多，应予扶持。”
1984年，学校被国务院批准为“七五”期间国家重点建设的高校之一。 1992年，入选“211”工程。
1998年5月，入选“985”工程。 1999年12月，合肥经济技术学院并入中国科学技术大学。
2007年国家第三批重点学科评选中，入选8个一级学科国家重点学科，其中理学6个。
2008年，理学博士点国家重点学科覆盖率达到100%，工学博士点国家重点学科覆盖率达到40%。
2012年、2013年，自然出版集团（NPG）发布《自然出版指数中国》报告，中国科大获选为中国大陆高校第一名。
建校初期得到迅速发展，1959年即被列为全国重点大学。在科学院和各研究所的大力支持下，图书馆不断扩充馆藏资源。截止到1962年，全校共藏图书30余万册。
1969至70年，图书馆和学校一起从北京迁到安徽合肥。在迁校过程中，仪器设备和图书资料损失惨重，广大师生在办学条件十分恶劣的情况下开始了第二次创业。
“文化大革命”结束后，1978年，恢复列为重点大学。学校锐意改革，大胆创新，在全国率先提出并实施了一系列具有前瞻意识的教育改革措施，很快发展成为国家高质量人才培养和高水平科学研究的重要基地。
1997年，西区图书馆建成并投入使用，成为科大图书馆主馆。1