Il castello normanno fu costruito su un preesistente complesso altomedievale, databile al X secolo, in relazione con il dominio bizantino. L’edificio fu rimaneggiato in età sveva (XIII secolo) e angioina (XIV secolo). Nel 1304, fu ascritto tra i beni del Capitolo di San Nicola di Bari, come attesta lo stemma nicolaiano che campeggia su uno dei portali. Dal 1350 al 1415, entrò tra i possedimenti della famiglia Grimaldi di Monaco, come si evince dallo stemma scolpito sul portale interno. Gli interventi più significativi risalgono all’età sveva, periodo in cui fu allargata la cinta poligonale con l’impostazione di nuove torri, in totale otto, sei delle quali ancora esistenti. Sul settore murario settentrionale si apre il portale a sesto acuto percorso da bugne, ossia da pietre sporgenti, elemento decorativo che si riscontra nei vicini castelli di Bitritto e Gioia del Colle. Gli ambienti interni furono in gran parte danneggiati dall'incendio che divampò nel 1850.