Il castello Caracciolo sorge laddove c’era una torre fortificata, attestata già dal 1400. Un’iscrizione datata al 1504 cita il Palazzo nomine Centurione in riferimento al suo feudatario Heronimo Centurione, la cui famiglia è presente a Bari già dalla seconda metà del XV secolo. È probabile che la struttura abbia avuto in origine funzioni di controllo e di difesa e che successivamente sia stata trasformata in abitazione agricola. Nel 1609 la proprietà del Palazzo Centurione passa a Michele Vaaz, fondatore di Sammichele di Bari. Dopo la sua morte, nel 1667 suo nipote Simone vende il feudo a Antonio de Ponte, Regio Consigliere. Il Palazzo inizia così una nuova fase di rimaneggiamenti e restauri. Nel 1779 la proprietà viene ereditata dai Caracciolo di Vietri con cui nel 1860 viene avviato un importante processo di trasformazione trasformando il palazzo in luogo di villeggiatura. Il progetto viene portato avanti dall’architetto di Casamassima Ascanio Amenduni, vengono dunque realizzate le torri merlate, ampliati i portali di ingresso e il prospetto viene rivestito di bugnato in pietra calcarea, vengono anche realizzate le finestre bifore e lo scalone interno. Da questo momento il nome dei Caracciolo viene legato alla struttura, chiamata ancora oggi "Castello Caracciolo". Dopo aver subito altri rimaneggiamenti negli anni Venti del XX secolo, negli anni Settanta diventa di proprietà comunale e negli anni Novanta vengono avviati importanti interventi di restauro che hanno cercato di riportare la struttura al suo aspetto originario soprattutto all’interno. Oggi sede del Museo della Civiltà Contadina “Dino Bianco”, ospita esposizioni temporanee ed attività culturali.