Il palazzo, mirabile esempio di architettura rinascimentale, fu edificato nella seconda metà del XVI secolo sulla preesistente chiesa medievale di Ognissanti. Il prospetto principale si affaccia su via Mercanti, qui si apre il monumentale portale sormontato dai bassorilievi di Cesare ed Ottaviano Augusto. Intorno alla corte interna si articolano gli ambienti del palazzo. Degni di nota i capitelli rinascimentali che coronano le colonne del cortile. Molto più articolato il prospetto che si affaccia su piazza Cavour. Qui si apre l’elegante loggiato a sei luci, aperture a forma di arco, che si impostano su colonne e pilastrini. Nelle nicchie trovano collocazione quattro statue allegoriche che rappresentano le virtù cardinali: Fortezza, Giustizia, Prudenza e Temperanza. Dal 2009 il palazzo ospita la Galleria Nazionale della Puglia "Girolamo e Rosaria Devanna".