徽州地区历史悠久，早在六千年前，翚岭南北就有人类活动，据考古发现，这里的“三天子都”在《山海经》中有所记载。早期，本区曾是海滨，被异族共工氏占据。随着时间的推移，春秋时期，徽州先后属于吴、越、楚三国，三国时期战争频繁，郡县归属时有变动。秦始皇统一六国后，徽州设黟、歙两县，隶属于会稽郡。随后，随着汉代的更迭，徽州经历了荆国、吴国、江都国、丹阳郡和广陵国等时期的管辖，直至汉平帝时期，黟县再次归属丹阳郡，歙县则多次调整归属地。
到了清代，徽州府划归新都郡，后改名为新安郡，归属于扬州。随着历史变迁，新安郡领地几经调整，最终在南朝陈时，新安郡领六县，包括歙、黟、海宁、遂安、始新和休宁。隋朝时，改郡为州，歙、黟并入海宁，成为歙州，而徽州的地域范围也逐渐形成。唐宋时期，徽州的行政区划有所变动，州名和管辖县数多次变化，直到明清时期，徽州府下辖六县，成为稳定的行政格局。
进入近代，徽州地区经历了五代十国、宋元明清等朝代的更迭，徽州的名字也随着朝代的变迁而改换。清朝顺治年间，徽州府隶江南承宣布政使司，直至民国初年，徽州府的行政区划最终变为直隶安徽省。民国时期，徽州地区多次调整行政督察区，直至1949年全国解放，徽州全境归属安徽省。1949年后，徽州专区和黄山市的设立与合并，标志着徽州历史上的重要转变，直至1987年，黄山市的设立，标志着徽州府郡州历史的终结。
徽州，简称“徽”，位于新安江上游，古称新安，宋徽宗宣和三年（公元1121年），改歙州为徽州，从此历宋元明清四代，统一府六县（歙县、黟县、休宁、婺源、绩溪、祁门），辖境为今黄山市、绩溪县及江西婺源县，行政版图相对稳定。徽州是徽商的发祥地，明清时期徽商称雄中国商界500多年，有“无徽不成镇”、“徽商遍天下”之说。徽文化已成为中国三大地域文化之一。民国元年废府留县，原领六县直属安徽省。民国38年5月13日，设徽州专区。1987年，国务院批准改徽州地区为黄山市。