Dalle fonti si apprende che, nel luogo dove oggi insiste l’abbazia di Santa Maria della Giustizia, esisteva un ospizio per il ricovero di infermi, citato in una bolla del pontefice Pasquale II (1099-1118) quale centro di assistenza ai crociati; Taranto, infatti, è stato uno dei porti di imbarco per la Terrasanta.

E' attestato un hospitium peregrinantium conosciuto con il nome di Santa Maria del Mare; una fonte documentaria ci informa infatti che in quell’anno Costanza di Francia, reggente del Principato di Taranto in nome del figlio Boemondo, dona al monastero greco di San Pietro de Insula, collocato sulla più grande delle Isole Cheradi, un’area a occidente di Taranto, nei pressi del fiume Tara, da destinare alla realizzazione di un ricovero per pellegrini.

Secondo lo studioso Mons. Giuseppe Blandamura, il cambio di denominazione in Santa Maria della Giustizia si ricaverebbe da un altro documento un tempo conservato nel Tabulario della Badìa, in cui è riportato un aneddoto verosimilmente leggendario. Sulla base di questo, il principe di Taranto Guglielmo III, spintosi un giorno fino alle boscaglie nei pressi del fiume Tara, si imbatté nella cappella di Santa Maria e conobbe il custode, l'eremita Ferlizio, con il quale si intrattenne a lungo. Da allora il principe inviò ogni giorno ciò che potesse servire all’eremita, per mano di un suo schiavo musulmano di nome Samuele. Il vecchio Ferlizio si ripropose di convertire quell'infedele (sic.), tentando, ogni volta che lo vedeva, di istruirlo nella religione cristiana. Un pomeriggio il giovane, indispettito dall'insistenza dell'eremita, lo uccise e, non avendo il coraggio di rientrare a casa dal principe, rimase sul posto per tre giorni e tre notti. Guglielmo, preoccupato del mancato ritorno di Samuele, si recò al santuario e rinvenne il cadavere di Ferlizio; il giovane servo, confessato il delitto, si pentì e chiese di essere battezzato, ma fu impiccato affinché fosse fatta giustizia. Il documento conclude così il racconto dell'episodio «... omnis Civitas commota est et venit ad locum cum lacrimis vocantes eam Maria Iustitiæ et sepelierunt ambos in eodem loco», da cui sarebbe derivata la nuova dedicazione a Santa Maria “della Giustizia”.

La costruzione dell’attuale chiesa dell’abbazia è databile a questo periodo, come suggeriscono i confronti con la chiesa di Santa Maria del Casale a Brindisi e quella di San Domenico a Taranto.

Per volere del cardinale G. d'Aragona, il monastero passa alla congregazione monastica dell’Ordine benedettino Olivetano, fondata nel XIV secolo e già attesta a Taranto. Secondo le fonti, come ringraziamento di questa assegnazione, le porte della chiesa furono fregiate con lo stemma della corona aragonese.

Nel XVI secolo le incursioni turche lungo le coste ioniche diventarono sempre più frequenti facendo attestare diversi attacchi. Tra questi, quello avvenuto nel 1594 per mano del condottiero Sinan Bassà Cicala, segnò in maniera indelebile il complesso, poiché i turchi, dopo aver razziato e distrutto gli ornamenti della badia olivetana, appiccarono un incendio.

L’abbazia ormai diruta risulta abbandonata dai monaci Olivetani che si trasferirono in Città Vecchia presso Santa Maria del Porto, i cui resti sopravvivono sotto l’attuale palazzo Spartera, e nella chiesa di Monteoliveto (Madonna della Salute). A questa decisione contribuì anche l’inospitalità del territorio a causa dell’impaludamento dei terreni intorno al fiume Tara. Per evitare che la chiesa rimanesse del tutto abbandonata, si dispose che i riti fossero officiati almeno in tutte le domeniche e nei giorni festivi. I monaci Olivetani delegarono a questo scopo i frati Cappuccini, che officiarono le funzioni fino al 1808.

L'Ordine dei benedettini Olivetani venne soppresso e la badia di Santa Maria della Giustizia perse definitivamente le proprie prerogative religiose.

In seguito a una visita di due sacerdoti, N. Mannarino e G. Cervo, che trovarono il complesso ormai adibito a magazzino, l'Arcivescovo G. A. De Fulgare ordinò di rimuovere l'altare di marmo e di obliterare l'affresco di Maria Santissima per evitare ulteriori profanazioni.

Il complesso di Santa Maria della Giustizia entra nella giurisdizione demaniale, per poi essere acquistata da privati cittadini: la famiglia Acclavio e successivamente quella dei Trojlo.

In questo anno il sito viene annoverato tra i Beni demaniali dello Stato e assegnato alla Soprintendenza per i Beni Ambientali, Archeologici, Artistici e storici della Puglia.

Si avviano i lavori di restauro di tutta la struttura architettonica, con rifacimento delle coperture, consolidamento delle murature, iniezioni di miscele cementizie, perdurati fino al 1985, anno in cui inizia il restauro dei dipinti murali, molto danneggiati soprattutto a seguito del cambio di destinazione d’uso del complesso e degli atti vandalici subiti. I restauri proseguono fino al 1993; durante questi lavori furono effettuate anche delle indagini archeologiche.

La struttura fu interessata da ulteriori lavori di riqualificazione che videro la revisione generalizzata di tutte le superfici esterne e delle coperture, il restauro dell’ex hospitium peregrinorum e del refettorio, l’installazione di nuova impiantistica e ulteriori indagini archeologiche.