Percorrendo il centro storico, in prossimità di una delle balconate poste verso la punta estrema della città, si scorge la chiesetta di Santo Stefano. Fu costruita nel XIII secolo sul bastione omonimo e fu intitolata a Santo Stefano, santo devoto ai Longobardi, presenti in Puglia già dal VII secolo e la cui influenza era viva nel territorio ancora nel corso del XIII secolo. Qui venivano celebrate le funzioni religiose per il popolo, quelle per i nobili e i benestanti si svolgevano invece nella vicina Cattedrale. La facciata si presenta semplice, con un motivo a bugne, ovvero a pietre sporgenti, disposte in modo irregolare. Un motivo in altorilievo segna l’architrave del portale di ingresso. In alto, a sinistra, un piccolo campanile a vela chiude la facciata. L’interno, più volte rimaneggiato e privo di affreschi, è ad aula unica, divisa in due campate, la prima presenta una volta lenticolare, ovvero a forma di lente, la seconda una volta a botte. La chiesa è oggi sconsacrata ed è un’interessante e attiva sede espositiva.