1909-1920
清宣统二年（1909年）9月19日，京师女子师范学堂在北京石驸马大街成立附属小学，定名为京师女子师范学堂附属两等小学堂，招收女生4个班；这就是北京第二实验小学的前身。1911年，更名为国立北平女子高等师范学校附属小学校，实行三学期制。1912年，开始兼收男生。同年夏，迁入手帕胡同34号（今18号）现址。建校以来，学校注重学生知识的增长和品德的发展并重，给学生以科学、民主、自由的启迪，是普及近代科学的先锋。
1921-1935
1921年，学校开始采用分数制教学，次年，改三学期制为两学期制。1926年，添设幼稚园两班，采用半日制，分上下午授课；1931年，国立北平师范大学与国立北平大学第二师范院（即女师大）合并，学校也随之易名为国立北平师范大学附属第二小学。
1936-1944
1936年，学校采用半日制，分上下午教学。1938年，学校改隶于女师学院。1941年，男女两师范学院合并为师范大学，学校更名为国立北京师范大学附属第二小学校。1942年，添设半日制二部实验班，次年该实验班改为全日制。1944年，学校改制为单式编制，设小学初级一至四年各3班，高级一二年各3班，幼稚园一二年3班，共24个班。此时的学校注重对学生的爱国主义教育，在日伪残暴、嚣张的统治下，学校师生毅然顶住奴化教育的狂潮，学习中国优秀的语言文化，学校教育学生精诚团结，不做东亚病夫。
1945
1945年，学校改隶于北平临时大学补习班第七分班。次年，临大补习班结束，国立北平师范大学复员，改称国立北平师范学院，学校更名为国立北平师范学院附属第二小学。作为当时北平国立小学中教学设备最好的学校，她十分重视对学生进行全面的教育。学校建有专门的自然、地理、音乐、劳作等专用教室，使学生的发展均衡而且全面。为培养学生爱读书的好习惯，学校还建有一座专门的图书楼，藏书达上万册，当时在北平可谓首屈一指。
1955至今
1955年，在走过近半个世纪的风雨历程后，学校终于以北京第二实验小学这个使用至今的校名开始了新的创业之路。
