L'abazia di San Vito rappresenta un imponente esempio di architettura monastica, di rilevante importanza, per le diverse fasi storiche che l'hanno attraversata e per la sua singolarità, data dal suo affaccio su di un porto naturale. Confinanti con l’Abazia ci sono: la torre costiera di San Vito, per l’avvistamento e la difesa dal mare e la masseria-torre Vecchio Ovile, per la difesa dall’entroterra. La fondazione del complesso monastico dell'Abazia è ascrivibile al X secolo, con i benedettini. L’edificio più datato è la chiesa, dall’impianto a cupola in asse, costruita sulle rovine di un'antica torre romana, alterata a sua volta dalla sovrapposizione della successiva costruzione del convento. Il massimo della prosperità dell’abazia si raggiunse nei secoli XII-XIII ma nel XIV secolo iniziò la crisi che sconvolse numerosi monasteri pugliesi tra cui quello di San Vito. Agli inizi del XVI secolo, l'Abazia venne annessa alla basilica romana dei Santissimi Apostoli, per volere di Papa Giulio II. Dopo questa data iniziarono grandi trasformazioni del manufatto. Tra il XVII e il XVIII secolo, all’Abazia vennero apportate modifiche tipiche dell’architettura dell’epoca. Al XVIII secolo, risale la suggestiva loggia balaustrata a cinque arcate del fronte mare. Successivamente, il monastero venne inglobato nel palazzo dei marchesi Tavassi-La Greca, attuali proprietari del complesso.