Tra il VI e il VII secolo, nell’area attualmente occupata dalla chiesa romanica si estendeva una necropoli. Scavi archeologici hanno messo in luce, nella zona più vicina all’ingresso della chiesa, due ambienti, databili entro il VII secolo. Probabilmente si tratta dei resti di una chiesa di un casale greco, attivo nell’alto-medioevo. Al di sopra di questo edificio di culto è stata costruita la chiesa attuale, realizzata con una struttura a tre "cupole in asse". Questa tipologia è una particolarità degli edifici religiosi pugliesi costruiti tra il VII e il XII secolo, si caratterizzano per la presenza di una o più cupole, poste in asse, a coprire la navata centrale. All’esterno le calotte delle cupole e le volte delle navate laterali sono mascherate rispettivamente da tettucci piramidali e da coperture semi-spioventi. I tetti sono rivestiti da "chiancarelle", blocchetti rettangolari di pietra calcarea dal colore grigiastro, usati anche per la copertura dei più noti trulli. La facciata è preceduta da un portico, in gran parte distrutto. L’interno è suddiviso in tre navate, ciascuna di esse termina con un’abside. In un documento volutamente prodotto intorno al 1230 dai monaci benedettini si fa risalire la fondazione della chiesa durante l’episcopato di Andrea II (1062-1078). La falsa notizia menziona il nome del committente, un monaco barese di nome Eustazio. L’atto fu elaborato appositamente dai benedettini per rivendicare la proprietà del monastero sugli arcivescovi baresi del XIII secolo, tuttavia, nel 1295 papa Bonifacio VIII assoggettò Ognissanti alla Basilica di San Nicola. Nel XVI secolo il monastero fu definitivamente soppresso. Nel 1737 gli Alcantarini demolirono il monastero ma non la chiesa, ricavando in tal modo del materiale utile per la costruzione del Santuario di Santa Maria del Pozzo.