La grotta di San Cleto si trova a pochi passi dalla Cattedrale, al di sotto della chiesa del Purgatorio. Il vano della grotta è scandito da una fila di cinque pilastri e tre arconi. La muratura delle pareti è realizzata con diverse tecniche edilizie utilizzate in età romana, ad esempio sono visibili tracce di opus reticulatum, un’opera edilizia costituita da piccole piramidi tronche a base quadrata in pietra, con la punta inserita nella muratura, disposte diagonalmente in modo da formare una sorta di reticolo sulla parete. Si conserva inoltre una parte dell’intonaco in cocciopesto, un particolare rivestimento realizzato con una miscela di frammenti laterizi, impastati con la calce, utilizzato per rendere impermeabili le pareti. Sulla volta sono presenti delle aperture e delle tubature in terracotta. Il rivestimento impermeabile delle pareti, unito alla presenza di aperture sulla volta della grotta, ha fatto pensare che il primo utilizzo di questo sito fosse una cisterna romana del II sec. a.C., probabilmente connessa con l’impianto termale dello stesso periodo, emerso nelle vicinanze. La cisterna romana è stata adibita successivamente a luogo di culto legato alla venerazione di San Cleto, terzo papa, vissuto nel I sec. d.C., considerato dalla tradizione ruvese quale primo vescovo della città, che avrebbe radunato proprio qui i primi cristiani ruvesi. È però storicamente accertato che la diocesi di Ruvo sia stata fondata nell'XI secolo ed il primo vescovo sia stato Gioacchino de Zonicis, eletto nel 1090. Nella grotta sono inoltre presenti due fonti battesimali e una stata di San Cleto, scolpita direttamente nella pietra del secondo pilastro, San Cleto è rappresentato seduto e con le vesti di pontefice. Un graffito a carattere gotico che campeggia su di una parete della grotta, recita:  “Non temete cittadini di Ruvo/sono Cleto primo vescovo/e terzo dopo San Pietro/che prega per voi”. Dopo lunghi lavori di restauro, dal 2011 la grotta di San Cleto è nuovamente visitabile.