Nel corso dell’XI secolo il conte normanno Amico dotò il preesistente insediamento altomedievale, documentato sin dal 782 col nome di casale in Trelicio – antico nome di Terlizzi – di un poderoso castello. Del grande complesso normanno oggi si conserva solo la torre a pianta quadrata, detta ''Maggiore'' o ''Civica o ''dell'Orologio". Nel XIX secolo, a seguito dei numerosi crolli, il castello fu trasformato in cava per il recupero di materiale da costruzione per la nuova cattedrale neoclassica. Le demolizioni non si limitarono al solo castello ma riguardarono l'intera cinta muraria, anch’essa di fondazione normanna. Nel corso dello stesso XIX secolo, la torre fu invece restaurata e sulla sua sommità furono aggiunti l'orologio e l’edicola.