有关萨尔贡国王的传说中第一次提到巴比伦，他在大约公元前3世纪中叶时统治了阿卡德。传说他统治巴比伦的时候镇压了一场起义。
古代的当地居民将巴比伦称为“巴比利(Babili)”，意思是“上帝之门”；希腊人将它音译为“巴比伦”，而伊拉克人则至今都读作并写作“巴比伦(Babilon)”。
巴比伦的鼎盛时期是公元前6世纪尼布甲尼撒二世统治的时候。那时阿卡德和苏美尔王国的领地都在他的统治之下，而巴比伦就发展为巨大的商业和文化中心。幼发拉底河流经此地，船只从北面沿河将铜、肉、建筑材料运入巴比伦城，而沿河往北运走的则是小麦、燕麦和水果。
在尼布甲尼撒二世统治时期，从中亚流入巴比伦的珍宝都用来修建首都及其周围的强大防御工事。在耶稣诞生前的350年里，希腊历史学家希罗多德曾到过巴比伦，但此时的巴比伦只不过是它往昔辉煌的纪念碑。旅行中希罗多德结识了当地居民，他与他们交谈，并记下了他们向他讲述的习俗、传说和神话。他详细地描写了他见到的巴比伦是什么样子，里面都有些什么样的运河、寺庙和宫殿。
希罗多德之后过了大约100～150年，巴比伦城的一位祭司别罗兹写了一部关于该城的长篇巨著。书中讲述了巴比伦和亚述王国的历史，还有国王们和众神的各种传说和神话。遗憾的是，别罗兹的珍贵著作几乎完全散佚，流传至今的只剩下几个片断，基督教作家、恺撒利亚的优西比乌在自己的作品中曾经引用过这些片断。
同样悲哀的是，在罗马帝国衰亡时随着巴比伦一起被摧毁的还有所有能告诉我们该城命运的文字记录文献。在440年的时间里该城两次从历史上消失，但是著名的巴比伦城的遗址却并没有消失得毫无踪影。