První zmínky o Babylonu se objevily ve 23. stol. př. n. l.. Význam města vzrostl až po roce 1900 př. n. l. , když se Sumeru zmocnily semitské kmeny Amoritů. V průběhu několika let se Babylon stal hlavním městem království Amoritů.



Během vlády Chammurabiho (1792 – 1750 př. n. l.) se z království stala rozsáhlá říše , která ovládala celou jižní Mezopotámii a část Asýrie. Ze záznamů na hliněných tabulkách objevených v Chammurabiho paláci v Mari se domníváme , že společenské uspořádání Babylonu bylo už mnohem složitější a že říše tehdy oplývala značným bohatstvím. Dokladem toho jsou i Chammurabiho zákoníky , nejstarší dochované pořádkové zákony. I když se říše brzy po Chammurabiho smrti rozpadla , Babylon zůstal i nadále významným městem.
Město vděčilo za své bohatství strategické poloze na řece Eufrat. Kontrolovalo veškeré obchodní cesty křižující jižní Mezopotámii. Babylon vynikal jako centrum náboženství a vzdělání. Po dobytí Mezopotámie Babyloňané přijali kulturní tradice Sumerů a Akkadů. Od Akkadů převzali jazyk a od Akkadů mytologii a náboženství.
Postavení Babylonu bylo upevňováno až do 12. století př. n. l. , kdy jeho politická moc upadla zásluhou Kasitů. Za vlády Nabukadnesara I. (asi 1124 – 1103 př. n. l.) a jeho nástupců se Babylon stal hlavním městem nezávislého království. V 10. stol. př. n. l. se Mezopotámie zmocnili Asyřané. Díky postavení svatého města se Babylonu dostávalo ze strany Asyřanů všeobecné podpory a pomoci proti jiným kmenům. Až v roce 689 př. n. l. ztratil asyrský král Senacherib trpělivost s regionální nestabilitou a Babylon zničil. Tím pádem se Babyloňané začali spojovat s nepřáteli Asýrie. Vedeni chaldejským králem Nabopolasarem se spojili s Médy z území dnešního Iránu a v 7. století př. n. l. se jim podařilo Asýrii definitivně porazit.
Nabopolassarův syn Nabukadnesar II. (605 – 562 př. n. l.) vytvořil Novobabylonskou říši , která se táhla od Suezu po Irán. Za vlády Nabukadnesara II. si Babylon vydobyl největší slávu. Archeologové nalezli stopy mnoha velkolepých staveb. Nejznámější jsou visuté zahrady a zikkurat. Tou dobou byl Babylon největším městem světa. Babyloňané se zasloužili o to , že se dochovaly prvky sumerské kultury. Podíleli se na pokroku v matematice a astronomii. Jejich poznatky převzali Řekové a od nich potom celý svět.
Historie Novobabylonské říše skončila roku 539 př. n. l. , když se Peršané pod vedením Kýra Velikého zmocnili Babylonu. Podle legendy se Kýrovi podařilo odklonit Eufrat a vstoupit do města po dně řeky.
Později se Alexandr Veliký pokusil učinit z Babylonu hlavní město své říše , ale zemřel dříve než se mu to povedlo (323 př. n. l.).
Po Alexandrovi se dostali k moci Seleukovci. Ti však postavili své hlavní město na řece Tigris a Babylon postupně zanikl.