Nel 1102 papa Pasquale II confermò l'appartenenza di Gravina alla provincia ecclesiastica dell'arcidiocesi di Acerenza.
Numerosi furono i contrasti della chiesa gravinese con quella di Altamura. Infatti Federico II di Svevia, dopo aver rifondato la città di Altamura nel 1230, fece qui erigere una chiesa dedicata all'Assunta, con il titolo di cappella palatina, alla quale concesse il privilegio dell'esenzione da qualsiasi giurisdizione vescovile e arcivescovile, cosa per nulla condivisa dai vescovi di Gravina che iniziarono una lunga vertenza, che si protrasse per secoli, per rivendicare i loro diritti sulla chiesa altamurana.
Al vescovo Vincenzo Giustiniani (1593-1614), nobile genovese, si deve l'istituzione del seminario.
Il 27 giugno 1818, con la bolla 'De utiliori' di papa Pio VII, la diocesi di Gravina fu unita 'aeque principaliter' alla diocesi di Montepeloso (la località muterà denominazione nel 1895 diventando Irsina) e contestualmente divenne immediatamente soggetta alla Santa Sede. Con la stessa bolla Altamura fu confermata nella sua autonomia da Gravina, autonomia che già possedeva dalla fine del Settecento.
Il 25 aprile 1975 Salvatore Isgrò fu nominato, con doppia bolla di nomina, vescovo di Gravina e Irsina e prelato di Altamura e Acquaviva delle Fonti, unendo così 'in persona episcopi' le sedi episcopali.
Nel 1976 la diocesi di Irsina fu separata da Gravina, mentre il comune di Spinazzola fu sottratto alla diocesi di Venosa ed incorporato in quella di Gravina.
Nel 1980 Gravina entrò a far parte della provincia ecclesiastica dell'arcidiocesi di Bari.
Il 30 settembre 1986 con il decreto 'Instantibus votis' della Congregazione per i Vescovi la diocesi di Gravina e la prelatura di Altamura ed Acquaviva delle Fonti, già unite 'in persona episcopi' dal 1975, furono unite con la formula 'plena unione' e la nuova circoscrizione ecclesiastica assunse il nome di diocesi di Altamura-Gravina-Acquaviva delle Fonti.