L’edificio che attualmente ospita il MuDi - Museo Diocesano di Arte Sacra di Taranto - venne inaugurato come Seminario Arcivescovile il 1 giugno 1568, per volere dell’Arcivescovo il Cardinale Marcantonio Colonna, secondo i dettami del Concilio di Trento, che prevedevano la realizzazione di una struttura deputata alla formazione della vita religiosa e culturale del clero. Tra il XVI e XVIII il complesso è stato oggetto di lavori di restauro e ampliamento, promossi dagli arcivescovi Sarria, Pignatelli e Mastrilli. All’inizio del XIX secolo subì l'occupazione delle truppe francesi e fu riaperto dopo la Restaurazione; a causa della fatiscenza della struttura, dal 1965 è rimasto in stato di abbandono, fino alla ristrutturazione avvenuta negli anni '80-'90. Dal 6 maggio 2011 l'edificio è stato riaperto per ospitare la raccolta permanente del MuDi.