El Jem è famoso per il suo anfiteatro (spesso chiamato erroneamente colosseo) in grado di ospitare 35.000 spettatori seduti. Solo il Colosseo di Roma, con più di 50.000 posti a sedere, ed il teatro di Capua erano più capienti. L’anfiteatro di El Jem venne costruito dai romani sotto il controllo del proconsole Gordiano I, il quale venne acclamato Imperatore a Thysdrus, intorno al 238 e fu probabilmente usato per spettacoli di gladiatori e corse dei carri (come nel film Ben-Hur). Esiste anche la possibilità che la costruzione del teatro non sia mai stata completata.
Fino al diciassettesimo secolo rimase più o meno intatto. A partire da quel momento le sue pietre vennero usate per la costruzione del villaggio limitrofo di El Jem e della Grande Moschea di Qayrawan e, in un periodo di tensione durante il conflitto con gli Ottomani, i Turchi usarono i cannoni per stanare i ribelli nascosti al suo interno.
Le rovine vennero dichiarate patrimonio dell’umanità nel 1979.