Il Castello è stato costruito e poi ristrutturato e rimaneggiato almeno per tre volte in tre epoche distinte, dando così vita a tre livelli che corrispondono a tre stili architettonici diversi: prenormanno, normanno e svevo. Il primo livello, riferibile al periodo prenormanno o bizantino, era costituito da muraglie a formare un recinto per gli abitanti di Joha, antico nome della città. Il normanno Riccardo Siniscalco degli Altavilla, ristrutturò ed ampliò agli inizi del XII secolo il vecchio castello bizantino, in funzione di residenza nobiliare. L'intervento svevo fu invece ricco di apporti diversi, come tipicamente accadeva per l'architettura promossa da Federico II di Svevia. L'impianto monumentale fu realizzato così come lo vediamo oggi, costituito da cortine, porte d'ingresso e cortile. Quest’ultimo, ampio nel suo insieme, riflette lo schema tipologico dei castelli federiciani a pianta quadrilatera con torri angolari. Sale ed appartamenti confluiscono e si affacciano sull'ampia corte, prendendo aria e luce da monofore, bifore e trifore. Federico II è stato più volte qui, dopo di lui il castello perdette ogni importanza militare e civile. Nel Seicento venne trasformato in dimora residenziale ed adattato alle nuove esigenze abitative. Dal cortile si accede ai locali a piano terra, un tempo adibiti a depositi, scuderie e dimora dei domestici, oggi utilizzati come sede del Museo Archeologico Nazionale.