峨眉山（包括大峨、二峨）本为道教圣地，被誉为第七洞天“太妙零陵之天”或“虚灵第七洞天”。唐代以前，峨眉山上道教宫观多于佛教寺院。
《魏书.释老志》中写到：“道家之原，出于老子。其自言也，先天生地，以资万类。上处玉京为神王之宗，下在紫微为飞仙之主。千百万化，有德不德，随感应物，厥迹无常，授轩辕于峨眉，教帝于牧德。”
葛洪在《抱扑子》中亦说：“娥眉山、绥山（即二峨山），皆此是正神在其山中，其中或有地仙之人。”
高洪在《抱朴子.金丹篇》道：“青城山、峨眉山……此皆是正神在其山中,其中或有地仙之人。”
晋人所撰《五符经》具体的说：“皇人住峨眉山北，绝崖之下，苍玉为屋，黄帝往授三一五牙之法。”
道教早期经典《三皇经》说得更是绘声绘色：“《三皇经》乃神宝君所出，西陵真人所撰，此文在天玉府之中，诸仙人受之以藏诸名山石室，皆不足具，惟独蜀郡峨眉山具有此文。”
晚唐以后，峨眉山佛教日渐兴盛，道教不敌佛教，日益衰落。到宋代以后，大峨山道教逐渐绝迹，道士多迁至绥山（二峨山）与青城山。大峨山逐渐成为佛教名山，普贤菩萨道场。张三丰集载他于（1403）年拜峨眉山，见山上道教一片荒落，他在诗中写到“洞口瑶草封丹室，静中谁识古仙客”。
而二峨山则继承了峨眉山道家正统。道士们在二峨山建紫芝洞、冲天一鹤楼、纯阳楼、老君殿、三皇殿、玉皇楼、龙泉寺、九皇亭等道家宫观，一时为盛。绥山（二峨山）自古本为仙家圣地。
东晋干宝《搜神记》载：“前周（西周）葛由，蜀羌人也。周成王时，好刻木作羊卖之。一旦，乘木羊入蜀中，蜀中王侯贵人追之，上绥山（二峨山），绥山多桃，在峨眉山西南，高无极也。随之者不复还，皆得仙道。故里谚曰：‘得绥山一桃，虽不能仙，亦足以豪。’山下立祠数十处。”
《列仙传》亦云：“葛由者，羌人也。周成王时，好刻木羊卖之。一旦骑羊而入西蜀，蜀中王侯贵人追之上绥山（二峨山）。绥山在峨嵋山西南，高无极也，随之者不复还，皆得仙道。故里谚曰：“得绥山一桃，虽不得仙，亦足以豪。”山下立祠数十处。木可为羊，羊亦可灵。灵在葛由，一致无经。爰陟崇绥，舒翼扬声。知术者仙，得桃者荣。”
后世故有典故“绥山桃”，因此而来。
唐代诗人陈子昂《感遇诗》三十八首中有：“浩然坐何慕，吾蜀有峨眉。念与楚狂子，悠悠白云期。时哉悲不会，涕泣久涟洏。梦登绥山穴，南采巫山芝。探元观群化，遗世从云螭。婉娈时永矣，感悟不见之。”其中所说的绥山即是二峨山，绥山穴即是指二峨山洞天。
唐宋之后，大峨山道教失势，转入二峨，二峨袭承峨眉道教正统。唐纯阳真人吕洞宾曾隐居于二峨山紫芝洞（今俗称猪肝洞），致紫芝洞香火之旺，盛极一时。然历尽千年之后，经历代兵灾刀劫，尤其是明末之乱，兴盛数百年的二峨道教亦渐衰落。道院香火直到建国初期，文革期间庙宇遭到毁灭性的破坏，现存遗址，可供游人观赏研究。延至今日，山上宫观凋零，断垣残壁湮没于深山密林之中，仙山胜境今日已为冷月荒山，云海缥缈，烟雨苍苍，转为凄凉。唯存紫芝洞等宫观遗迹。
