传说五台最早是道家的地盘，《道经》里称五台山为紫府山，曾建有紫府庙。《清凉山志》称佛教的文殊菩萨初来震旦（古代印度人称中国为震旦）时，居于石盆洞中，而石盆在道家的玄真观内，这说明当时五台山为道家所踞。
佛教最初传入我国时，只有少数人奉行。公元前二年，大月支国（原居我国新疆西部伊犁河流域的少数民族，西迁中亚后建立的国家）国王的使者伊存来到当时中国的首都长安（即今西安），他口授佛经给一个名叫景卢的博士弟子，这是中国史书上关于佛教传入中国的最早的记录。
佛教传入五台山，普遍的说法是始于东汉。史籍记载，永平十年（公元67年）十二月，汉明帝派往去西域求法的使者同两位印度高僧迦叶摩腾和竺法兰来到洛阳。
五台山佛教的发展，并非一帆风顺，北魏太武帝太平真君七年（公元446年）、北周武帝建德三年( 公元574年）、唐武宗会冒五年（公元845年）、后周世宗显德二年（公元955年），所谓“三武一宗”，由于他们不信佛，曾经四次大灭佛法，全国不少佛教寺庙遭到了毁坏，五不例外，所有的寺院几乎被焚毁殆尽，仅留下一座边远小庙南禅寺。后来，唐宣宗虽大兴佛法五台山因元气大伤，难以复原。到了北宋，台内、台外寺庙仅存七十二所。北宋的太宗、真宗和仁宗信奉佛教。这三个皇帝留在五台山上的“天书玉札”就达三百八十多轴。元至明初，五台山的寺庙建筑又有所恢复。
明清时期，五台山佛教再度振兴，出现了第三个高潮。清代各帝，均信佛法。康熙时，还在台怀、射虎川和南台等地营建行宫，每隔两三年必朝山一次。乾隆时也是如此，直到嘉庆中年以后，才不复继续下去。民国年间，仍有善男信女布施钱财，修建寺庙。据一九五三年成立的“五台山古迹保护所”调查，台内、台外、台顶、台下，青庙有九十九座，黄庙有二十五座，共计一百二十四座（《五台山导游》一书，有124座寺院的名称表）。
抗日战争前，通常冬季五台山有僧尼一千余人，夏季的二千余人。日寇侵占五台山以后，许多僧尼逃走，五台山佛教骤衰。一九四方年五台山解放后，这座举世闻名的佛教甸山才真正回到了人民手里。一九五二年，政府拔款对五台山的古迹进行整修。一九五三年，又正式成立了五台山古迹保护所，对寺庙建筑和名胜古迹有重点在进行保养和修缮。
在这方面，五台山民族事务委员会和宗教事务委员会，作出了很大努力。使得五台山这位历经沧桑的历史“老人”，如今能以新的姿态，新的面貌迎接慕名而来的中外游客。
题外话
昆仑山还说是道家的圣地，没见谁去把他发扬光大，看见五台山兴旺了开始眼红了，都是教人行善积德，都是好的，中国之所以能把儒释道融合贯通，这本就是国家民族包容的品德特质。有些人非要搞对立，搞歧视，地域歧视、宗教歧视、人种歧视，我到发现，搞对立的都不是宗教里的内行人，基本都是吃的太饱太闲的人。