Il nucleo più datato del palazzo, noto anche come castello, risale all’XI secolo. L’impianto normanno era definito da una pianta quadrata intorno ad una corte interna con quattro torri agli spigoli, di questa fase si conservano all'esterno le quattro torri, sebbene nascoste dalle sovrapposizioni seicentesche. Frequentato sia in età angioina che aragonese, nel corso del Seicento fu acquistato dalla nobile famiglia De Mari, che lo trasformò in dimora principesca in stile barocco. I lavori iniziarono nel 1664 su committenza del nobile Carlo De Mari con l'ampliamento delle precedenti strutture, a questi interventi si devono la sala teatrale e la galleria di pitture, attualmente adibita come sala del consiglio comunale. La facciata occidentale, quella maggiormente scenografica, è caratterizzata da un solenne ingresso che introduce nella corte interna. Sul prospetto centrale, coronato da un timpano barocco, si aprono tre finestre riccamente decorate, che si affacciano su una grande balconata di rappresentanza. Oggi sede del Municipio, in alcune stanze è allestita un'area museale dove sono esposti diversi reperti archeologici provenienti dalla necropoli peuceta di Salentino, in agro di Acquaviva delle Fonti. Il Palazzo inoltre ospita mostre temporanee ed eventi culturali.