La fondazione dell’abbazia è stata voluta nel 1086 dal conte di Conversano Goffredo sulla piccola penisola presente tra gli attuali lidi Santo Stefano e Porto Ghiacciolo, chiamata Turris Paola in epoca romana. Sede del monastero dei Benedettini, qui erano conservate le reliquie di Santo Stefano, successivamente traslate nel XIV secolo a Putignano per difenderle dalle frequenti incursioni saracene. Un’iscrizione attesta anche la presenza di uno scriptorium medievale, ossia un luogo dove i monaci ricopiavano a mano i testi sacri, a dimostrazione dell’alto livello culturale del monastero. Il sito a pianta circolare, con la presenza di un pozzo da cui attingere acqua freatica è stato frequentato dai Cavalieri di Malta tra la fine del XIII e gli inizi del XIV secolo, i quali rifortificarono il vecchio maniero difensivo costiero creando un fossato tuttora visibile e rendendo attraccabili entrambe le calette poste alla destra e alla sinistra del monastero-fortezza. Questo consentiva a più navi contemporaneamente di attraccare e di ripararsi prima del viaggio in Terra Santa. Nei secoli XVIII e XIX, la zona circostante venne inglobata nel Capitolo della Cattedrale di Monopoli.