Die Abtei San Vito ist ein eindrucksvolles und wichtiges Beispiel für die Klosterbaukunst, was sie ihren verschiedenen historischen Phasen und ihrer einzigartigen Lage an einem natürlichen Hafen zu verdanken hat. An die Abtei grenzen der Küstenturm San Vito, ein Wach- und Wehrturm zur Meerseite, und der Turm und Gutshof Vecchio Ovile, der der Verteidigung zum Hinterland hin diente. Die Gründung des Klosterkomplexes der Abtei lässt sich auf das 10. Jh. durch die Benediktiner datieren. Das älteste Gebäude ist die Kirche, deren Kuppel sich an der Längsachse befindet und die auf den Ruinen eines alten römischen Turms entstand. Der Turm wurde wiederum durch den späteren Bau des Klosters verändert. Den höchsten Wohlstand erreichte die Abtei im 12./13. Jh. Im 14. Jh. begann jedoch die Krise, die zahlreiche apulische Klöster betraf, darunter auch das Kloster San Vito. Anfang des 16. Jh. wurde die Abtei auf Wunsch von Papst Julius II. der romanischen Basilika Santissimi Apostoli angegliedert. Nach diesem Zeitraum wurde das Bauwerk großen Veränderungen unterzogen. Zwischen dem 17. und 18. Jh. wurden für die Baukunst der Epoche typische Umgestaltungen vorgenommen. Aus dem 18. Jh. stammt die eindrucksvolle, mit einer Balustrade versehene Loggia an der zum Meer weisenden Seite. Später wurde das Kloster in den Palast der Markgrafen Tavassi-La Greca integriert, den gegenwärtigen Eigentümern des Komplexes.