L'abitato medievale di Conversano era cinto da spesse mura nelle quali si aprivano porte di accesso alla città e numerose torri difensive. I residui murari di età megalitica, relativi all’antica Norba furono in parte riutilizzati nelle epoche successive. Gran parte della cinta fu demolita o inglobata nei palazzi costruiti nell’Ottocento. In piazza Castello, a pochi passi dalla Cattedrale si erge il castello, fulcro del sistema difensivo della città. La fondazione del fortilizio risale all'età normanna, tuttavia ancora oggi sono ben visibili alcuni elementi del precedente insediamento megalitico, relativo all’antica Norba peuceta, prima della conquista romana della Puglia. L’aspetto attuale è il risultato di numerosi interventi architettonici dal Medioevo all’Ottocento. Il complesso è definito da una pianta poligonale, quasi un trapezio. Il versante nordorientale su piazza Castello è delimitato agli angoli da un torrione cilindrico angioino del XIV secolo e da un bastione aragonese dodecagonale del XV secolo. Arretrata rispetto ai muri esterni vi è la torre quadrangolare normanna dell'XI secolo, chiamata "Torrione Maestro". Il compatto corpo quadrangolare fu realizzato dopo il 1054 da Goffredo d’Altavilla. A Sud-Est, verso piazza della Conciliazione, si erge un’altra torre quadrata, anch'essa arretrata rispetto ai muri esterni, commissionata da Dorotea Acquaviva d'Aragona. Il cambiamento d’uso del complesso da castello difensivo a dimora residenziale si concretizzò in diverse fasi cronologiche. In primo luogo nel Quattrocento con gli Enghien e, in modo definitivo, tra XVI e XVII secolo con gli Acquaviva d'Aragona. All’interno è allestita la Pinacoteca Comunale. Al primo piano è esposto permanentemente il ciclo pittorico La Gerusalemme Liberata, dipinto dal pittore napoletano Paolo Finoglio, commissionato da Giangirolamo II Acquaviva d’Aragona.