Il fortilizio voluto dall’imperatore Carlo V, è stato completato a metà del Cinquecento. Edificato al di sopra di un piccolo promontorio, il castello è circondato dal mare su tre dei suoi quattro lati, il quarto era protetto da un fossato oggi non più esistente. La struttura ha utilizzato come nucleo centrale la chiesa di San Nicola in Pinna del X secolo e una porta romana del I secolo d.C., quest’ultima a sua volta innestata sulle mura messapiche risalenti al V secolo a.C. Nel corso del Seicento sono stati realizzati dei lavori di ristrutturazione che hanno portato ad un ampliamento della struttura. Gli interni sono stati anch’essi modificati conferendo alla struttura una connotazione di carattere residenziale, non più solo un fortilizio a difesa della città. Agli inizi del XIX secolo, è stato adibito a carcere mandamentale fino al 1969. Oggi il castello Seicentesco si presenta con bastioni pentagonali che si innalzano ai suoi cinque vertici. Sul versante sud-ovest vi è l’entrata principale, in passato accessibile mediante un ponte levatoio, oggi sostituito da una piccola rampa. Sul versante sinistro della torre è ancora ben visibile una parte delle antiche mura al di sopra delle quali sono ancora ben disposte le cannoniere a memoria della funzione difensiva del fortilizio. Dopo anni di abbandono, il castello è stato interessato da un sapiente progetto di restauro e valorizzazione, attualmente è sede espositiva e uno spazio per eventi e attività culturali.