Il palazzo, edificato nel XV secolo da Raimondello Orsini del Balzo, è stato costruito su un precedente edificio medievale. La loggia esterna si apre sulle mura cittadine. L’edificio si articola su tre piani intorno ad una corte interna, determinando con la sua vasta estensione un grande isolato. Degno di nota il portale rinascimentale che si apre su corso Federico II di Svevia. Dalla corte interna si accede alla scala d’onore e alla cappella privata degli Angeli Custodi, devozione derivante dal cognome dei proprietari. La cappella a pianta rettangolare è voltata a botte: lo spazio è rivestito da una decorazione in stile rococò con stucchi a rilievo.