从西周开始，延至春秋战国便在古北口筑墩设防。汉武帝刘彻时为防北部匈奴入侵扰边，命守军在古北口开始筑城布兵，使古北口成了汉与匈奴屡次交战的必争之地。
数不清的战争都以攻占古北口为第一步，使它成了夺取中原的桥头堡。但古北口在早期并没有长城，战国和秦，汉时期的长城是从古北口以北很远的地方经过的。
北朝时期，为了防御更北方的游牧民族和邻近的其它政权，各朝非常重视修筑长城。据《北史·齐本纪》载，北齐天保七年(556)年，“自西河总秦戍（在今山西大同西北）筑长城，东至海（指山海关勃海），前后所筑，东西凡三千余里”。北齐此次为了防御突厥、奚和契丹族而修筑的长城经过古北口，这是古北口第一次出现长城。 但是北齐长城比较低小，为土石所筑，遗迹已经不多了。
北齐长城曾被隋唐修缮利用。古北口自唐代始获其名，因是唐幽州（今北京）之北重要长城关口而得名“北口”。唐在此设有北口守捉，屯兵驻守。守捉是唐代在边疆设兵戍守之军事区域，其上有军，其下有城、镇、戍。当时幽州长城之外为奚族聚居区，所以古北口又称“奚关”。唐代北口，五代起已称古北口或虎北口。
最早见于记载发生在古北口的战事，就是五代后梁乾化三年（913年），晋王李存勖攻取幽州时，遣大将刘光睿率领一路兵马攻克古北口。后梁龙德元年（921年）十月，契丹主阿保机军自古北口入边寇檀州（治今密云）、顺州（治今顺义）等10余城，十二月又自古北口出。
金代泰和五年，章宗又命人在此筑东陉二城，金贞佑二年（1214年）在这里设过铁门关。
古北口成为一处雄关隘口，是从明朝开始的。 明朝初年把鞑靼统治者推翻之后，朱元璋派徐达等来修筑居庸关、古北口、喜峰口等处的城关，明洪武十一年（1378年），太祖令徐达建古北口关城，并在北齐长城基础上砌石块以增强防御能力。加修关城、大小关口和烽火台等关塞设施，并增修门关2道，一门设于长城关口处，称“铁门关”，仅容一骑一车通过；一门设于潮河上，称“水门关”，存遗址。西北的居庸关、东北的古北口成了明王朝首都的两个重要门户。
明弘治十年(1427年)鞑靼王子率兵入侵古北口，因明军守备森严，使侵略者无功返。
明嘉靖二十九年（1550年），蒙古人又率骑兵近万人攻打古北口，也是大败而归。
隆庆三年（1569年）张居正为了加强防务，特别把著名的抗倭名将戚继光、谭纶调来北方。谭纶任蓟辽总督，戚继光任蓟镇总兵。蓟镇所管辖的一千二百多里的长城，经戚继光的精筹划，亲自督修，十数年之间便成了一道城墙高峙、墩台林立，烽火台相望的坚固防线。戚继光在修复古北口长城时，不仅保留了北齐长城，还在长城墙外又加砌了长城城砖，至此才有了著名的古北口双长城。
约5米的古北口保卫战纪念碑在古北口东山建立起来，碑身正面镌刻着冀晋纵队司令员赵尔陆题写的四个苍劲大字：“河山永在”；碑座四周刻有100多名为实现和平而献身的烈士的姓名、年龄、籍贯和部队编号。与此同时，在东山左侧烈士墓地建起一座墓碑，上面刻着12个大字：“古北口保卫战阵亡烈士之墓”。
