南岳衡山的来源有很多的传说。一说盘古开天辟地，死后化为山川林木，头为东岳泰山，脚化为西岳华山，腹化为中岳嵩山，右臂化为北岳恒山，左臂化为南岳衡山。
一说是中华始祖之一的炎帝神农氏追赶朱鸟，用神鞭将朱鸟打落变成南岳，所以大家在南岳古镇入口处所见的牌坊上便绘有朱鸟图案，南岳山徽“朱鸟”因此而来。
相传帝喾任命祝融担任火正之官。祝融是古时“三皇五帝”中的三皇之一，他在担任火正时，以火施化，为民造福，能昭显天地之光明，生柔五谷林木，后世尊为火神。
后来祝融升天当了神仙，他把火种埋在了衡山的山里，谁知火种慢慢地燃了起来，南岳一时成了火海。
衡山的山神急了，忙请东海龙王来救火。
老龙王降下雨水，可火不灭反而更大了。老龙王向观世音求救，观世音说：“只有打通衡山通向渤海的那条通道才可以灭火。”龙王叫了手下800只龙，日夜不分，打通了那条通道。火灭了，但龙王还怕火再次燃起来，于是叫龙儿们日夜守候在那里。冬天，天气寒冷，让火大一些，融化山上的雪水，给衡山以湿润和温暖。夏天，用泉水灌输，让火小一些，使天气能凉爽。正是因为这样，衡山才会有这么舒适的环境。而在南岳大庙里还有那800只蛟龙在那儿守护这片山山水水。
因为祝融熟悉南方的情况，黄帝又封他为司徒，主管南方事物。他住在衡山，死后又葬在衡山。为了纪念他对人们的重大贡献，将衡山的最高峰命名祝融峰。在古语中，“祝”是持久，“融”是光明，即让他永远光明。
祝融峰挺拔突起，高出芙蓉、紫盖、天柱、祥光、烟霞、轸宿诸峰之上。在祝融殿的西边，有望月台，月明之夜，皓月临空，银光四射，景色格外明丽。站在台上，欣赏月色，别有一番景象。即使月亮西沉，这里也留有它的余晖。正如明代孙应鳌的诗所描绘的：
人间朗魄已落尽，此地清光犹未低。
祝融峰附近寺庙林立，其南面有上封寺，隋代以前叫光天观，是道教活动的地方。隋炀帝大业年间，下令改为上封寺。
上封寺的正前方是南天门。上封寺后的山上有观日台，现设有气象台。在观日台旁边，有一块石碑，上面刻有“观日出处”4个大字。在秋高气爽，特别是雨后初晴的日子里，游人可以看到“一轮红日滚金球”的奇景。
衡山有遍山遍岭的竹子，有楠竹、斑竹、毛竹、凤尾竹，还有箭竹、水竹和紫竹。这里的竹子能够结竹米，可以吃。
相传很久以前，祝融峰北面中山沟有座茅屋，住着一个名叫刘二的人，全靠打柴为生。
一天，他扛着扁担、带着弯刀上山去砍柴。看见一头大野猪正在拱竹笋吃。他冲上前去，举起扁担向野猪猛刺。野猪惨叫一声，没命地逃跑了。刘二把笋子扶正，用松土培好，还砍了几根杂树棍钉在四围，才又上山去砍柴。
不久，那只竹笋长成了一根楠竹，青枝绿叶，又大又好看，刘二就把它移栽到自己的茅屋前面。第二年又发了许多竹笋，很快成了竹林。刘二非常高兴，一有空闲，就给竹子培土送肥。竹子越长越多，把刘二的屋子围得严严实实。
有一年，衡山大旱，老百姓日子很难过，刘二也饿得头昏眼花，每天以野菜、树皮度日。但是，再难他也舍不得砍竹子换粮吃。
一天夜里，他似睡非睡，听到一个声音：“我是您亲手栽的那根大竹，名叫竹仙，您救了我的命，多年来，精心栽培，为了报答您的
恩情，我们在竹子上结了竹米。”
刘二将信将疑，第二天一早，他走到竹林一看，一棵棵竹子上真的结了厚厚的一层竹米。竹米有麦粒那么大，长长的，两头尖，中间圆，淡黄色。他摘了两升，拿回去煮成稀饭，一尝，香喷喷，软绵绵，就像稻米那么好吃。刘二连忙把这个好消息告诉乡亲，遍山遍岭的竹米帮他们度过了一场百年不遇的饥荒。
从此以后，衡山的老百姓对竹子有了特别的感情。他们经常垦竹山，赶野猪，保竹笋，使南岳山的竹子长得越来越茂盛。
到了唐尧、虞舜时代，就有了帝王们到衡山巡狩祭祀的记载，也就是在那时，衡山才有了正式的封号“南岳”，相传那时的尧帝、舜帝、禹帝均到过南岳祭祀。《尚书》、《周礼》、《尔雅》、《山海经》、《水经注》等著述中都均有关于南岳衡山的记述。
后来，史学家司马迁在《史记》中记载了尧帝曾经巡狩到衡山：
舜……五月南巡，至于南岳。南岳，衡山也。
大禹治水时也曾在衡山杀马祭天地，在皇帝岩斋戒祈求上天帮助，获天赐金筒玉书，取得了治水方案，制服滔天洪水，功垂万世。