Il palazzo è il risultato di numerosi restauri dal medioevo all'età moderna. I primi proprietari, i De Ilderis, cedettero l’edificio ai Maggiore. Nel 1581 questi ultimi vendettero l’immobile a Leonardo Sylos, capostipite del secondo e terzo ramo Sylos, rispettivamente Sylos-Calò e Sylos-Sersale. Sul prospetto principale si apre il portale con due elaborate colonne che sostengono il balcone di rappresentanza. Qui si apre la finestra coronata dallo stemma di famiglia. Il palazzo si articola intorno alla corte centrale. Le rampe di scale che conducono ai piani superiori sono enfatizzate da una serie di archi su entrambi i piani.