1302年建立孔庙，历时4年完成，之后历代都进行过大规模的扩建和修葺，成为后来看到的规模。
孔庙是祭祀孔子的场所，形制参照当时曲阜孔庙，由三进院落组成，以大成殿为中心，"大成"取"孔子之谓集大成"之意，中轴线由南向北依次为先师门、大成门、大成殿、崇圣门和崇圣祠，大成殿为主体建筑，建筑规模仅次于山东曲阜的孔庙。
先师门又称棂星门，是孔庙的大门，面阔3间，进深7檩，单檐歇山顶式建筑结构，基本上保留了元朝的建筑风格，先师门两侧连接庙宇的外围墙，犹如一座城门。
先师门之后便是大成门，大成门创建于元朝，清朝重修之后面阔5间，进深9檩，单檐歇山顶。整座建筑坐落在高大的砖石台基上，中间的御路石上，浮雕有海水龙纹的图样，其中五龙戏珠，栩栩如生。
大成门前廊两侧摆放着10个石鼓，每个石鼓的鼓面上都篆刻一首上古游猎诗，是仿公元前8世纪周宣王时代的石鼓遗物而刻制的。
孔庙的第一进院落是皇帝祭拜孔子之前筹备各项事宜的场所，东侧设有宰牲亭、井亭和神厨，用于准备祭孔时所需三牲的宰杀、清洗和烹制。两侧有神库、致斋，用来存放祭孔的礼器和供品的备制。
在第一进院落的御路两侧分4部分，立有198通高大的进士题名碑，其中元朝所刻3通、明朝所刻77通、清朝所刻118通，记载了元、明、清三朝各科进士的姓名、籍贯和名次，共计51624人。
第二进院落是孔庙的中心院落，每逢祭孔大典，这里便钟鼓齐鸣，乐舞升平。大成殿是第二进院落的主体建筑，也是整座孔庙的中心建筑，是孔庙内最神圣的殿堂。
大成殿殿内全部采用金砖铺地，是我国封建社会中最高等级的建筑，堪与后来的故宫太和殿相媲美。殿内正中设有"大成至圣文宣王"孔子牌位，以及一套后来清代的乐器和祭器，包括编钟、编磬、琴、瑟、笾豆、登和爵等。
孔子牌位两边设有配享牌位，复圣颜回、述圣孔伋、宗圣曾参、亚圣孟轲被称为"四配"。殿内东边分列闵损、冉雍、端木赐、仲由，卜商和有若，两边分立冉耕、宰予、冉求、言偃、颛孙师、朱嘉等12人的牌位，这12人被称为"十二哲"。
大殿内外悬有后来清朝康熙至宣统之间的9位皇帝御匾，均是皇帝亲书的对孔子的赞语，十分珍贵。
大成殿前有一棵复苏槐，高约15米，由两棵主干组成，周长分别为2.6米和2.5米，似一对孪生兄弟并肩而立，向人们展示着独特的风采。据记载，这颗槐树种植于元代，是元朝第一任祭酒所许衡所种植，但是人们为什么叫它"复苏槐"呢？
相传在明末的时候，这颗槐树就已经枯死了，但是至清乾隆年间，枝干上又忽然萌发出了许多新芽，最终成叶，枯而复荣。
国子监的师生们发现后，纷纷称奇并相互传颂，当时正值乾隆生母慈宁太后的60寿辰，人们就认为这是一种吉祥的征兆，所以命名为"复苏槐"。
文武百官们纷纷题诗作画，以示庆贺。恰逢大学士将溥奉旨到孔庙祭拜先师，他得知此事后，就夜宿国子监，并发挥他树画的特长，绘制了一副古槐图，得到了乾隆的嘉奖。
据北京史志文献《日下旧闻考》记载：国学古槐一棵，元臣许衡所植，阅岁既久，枯而复荣。当辛末一枝再茁之出，时慈宁六旬万寿之岁，槐市众生，传为瑞事。
后来，清朝的乾隆皇帝也作了一首《御制国学古槐诗》：黄宫嘉荫树，遗迹缅前贤。
初植至元岁，重荣辛末年。
奇同曲阜桧，灵纪易林乾。
徵瑞作人化，符祥介寿筵。
乔柯应芹藻，翠叶润觚编。
右相非夸绘，由来事可传。
乾隆的古槐诗和蒋溥的古槐图及众位大臣的诗文还被后人刻在了碑上，并立在了树的旁边。
孔庙的第三进院落最具特色，由崇圣门、崇圣殿和东西配殿组成独立完整的院落，与前二进院落分割明显却又过渡自然，反映出古人在建筑部局上的巧妙构思。这组建筑称为崇圣祠，是祭祀孔子五代先祖的家庙，后重修时将灰瓦顶改为绿琉璃瓦顶。
崇圣殿又称五代祠，面阔5间，进深7檩，殿前建有宽大的月台，月台三面建有垂带踏步各10级。殿内供奉孔子五代先人的牌位以及配享的颜回、孔伋、曾参和孟轲四位先哲之父的牌位。
东西配殿坐落在砖石台基上，面阔3间，进深5檩，单檐悬山顶，内奉程颐、程颢、张载、蔡沈、周敦颐和朱熹6位先儒之父的牌位。
三进院落及其建筑具有明确的建筑等级差别和功能区域划分，和谐统一地组成了一整套皇家祭祀性建筑群落，是我国古代建筑的杰出代表。
孔庙建成之后，元成宗铁穆耳又接着按照"左庙右学"的传统规制，在孔庙西边营建了国子监，理学家许衡任国子监的第一任祭酒。
1313年6月，元明宗下诏建崇文阁于国子监，恩准孔庙享官城规制，崇文阁是元朝的藏书之所。
元代任国子祭酒的还有虞集、欧阳玄、苏天爵、张翥等，元朝灭亡之后，国子监也一度被荒废。