L'area oggi occupata dall'edificio, nel Seicento era identificata col toponimo di palmintello seu strada di s. Gregorio de li Falconi. Il palazzo, prima sede dei Carmelitani Scalzi a Bari, è costituito da una fondazione medievale, rimaneggiata tra Cinquecento e Seicento. Nel cortile si riscontrano i segni degli interventi moderni, tre balconi comunicanti tra loro, sostenuti da possenti mensole. Con molta probabilità il palazzo era direttamente collegato al convento. L'edificio custodisce un ricchissimo patrimonio bibliografico costituito da testi sull'antichità classica, la storia del mondo antico e la letteratura cristiana. Di grande interesse il fondo librario relativo agli studi di storia dell'arte pugliese. Nella sede è attivo il Laboratorio di Archeologia.