灵山县的历史可以追溯到秦始皇二十五年（公元前222年），当时这片土地归属百越地。至始皇三十三年（公元前214年），灵山县境隶属于象郡。汉高祖元年（公元前206年），灵山归属南越国管辖，随后在汉高祖十一年（公元前196年），成为南粤王的辖地。
汉元鼎五年（公元前112年），灵山县隶属于合浦郡；建安八年（公元203年），归属交州合浦郡。三国时期，吴国统治下，今灵山境域曾属交州合浦郡，黄武五年（公元226年）和六年则又改属广州合浦郡。
晋代，灵山继续隶属于交州合浦郡。进入南北朝时期，南朝宋泰始七年（471年）归属越州，后来又经历了齐、梁等朝代的变迁，直至梁天监一年（502年），灵山归属安州，陈朝沿袭梁制。隋朝开皇十八年（598年），设立了南宾县，这是灵山县最早的县名，当时位于钦州管辖之下。
隋大业三年（607年），南宾县改隶宁越郡，到了唐武德五年（622年），南宾县再次归属钦州总管府。贞观十年（636年），县治迁移至峰子岭南，钦州州治随后迁至灵山县旧州圩南宾寨。唐贞元十年（794年），因境内的西灵山（今名六峰山）而得名灵山县。
五代时期，灵山隶属于钦州，辖有钦江、保京、内亭、遵化、灵山等五县。宋代，遵化、钦江、内亭三县被废，其地并入灵山，灵山继续隶属于钦州，随后隶于广南西路。宋治平二年（1065年），县治迁至石六峰下，即现在的县城所在地。
元代，灵山保持钦州属地，至元十七年（1280年）划归湖广行中书省海北南道钦州路总管府。明清两朝，灵山历经钦州府、廉州府的管辖，直至清光绪十四年（1888年），钦州部分区域划归钦北区等地。
民国时期，灵山县归属广东省多个专区，直至解放后，1949年成立了灵山县人民政府，属于南路专区。1950年至1952年，灵山归属广西建制，1955年再度划归广东省，直到1965年，随广西壮族自治区钦州专区成立而再次归属广西。1994年至今，灵山县一直隶属于广西壮族自治区钦州市。
灵山县是中国广西壮族自治区钦州市所辖的一个县。位于广西南部，钦州市东北部。县城距南宁市150公里，距钦州市100公里，距北海市150公里，距广州市500公里。是著名的“中国奶水牛之乡”和“中国荔枝之乡”。