Согласно легенде, храм был построен на месте святилища мифического Девкалиона, праотца греческого народа.
Возведение храма было начато в период тирании Писистрата, в 515 г. до н. э., в дорическом ордере. Афинская демократия интересовалась храмом мало, Фемистокл (полководец периода Греко-персидских войн 500—449 г до н. э., государственный деятель Афин) даже использовал его части для оборонительной стены, связавшей Афины с Пиреем (ее раскопанный участок виден рядом с храмом).
В 175—164 гг до н. э. достраивать храм Зевса (уже в коринфском ордере) принялся царь эллинистической Сирии Антиох IV Эпифан. В 84 году до н. э. римский диктатор Сулла, имевший обыкновение увозить в Рим всё, что ему приглянется, снял с колонн Зевса несколько роскошных резных капителей и употребил их для строительства храма его римского аналога — Юпитера Капитолийского. Историк Тит Ливий почти столетие спустя называет афинский храм Зевса «единственным на свете, достойным этого божества». Легко понять его восхищение: стоящие 15 колонн относятся как раз ко времени Антиоха.
Завершён храм был только через 650 лет после начала строительства, при римском императоре Адриане, поклоннике греческой культуры. Освящение нового храма, который Адриан посвятил Зевсу Олимпийскому, было приурочено ко второму визиту императора в Афины и стало центральным пунктом программы Всегреческих празднеств 132 г.



