Il Collegio venne chiuso durante il periodo napoleonico per essere riaperto nel 1816, dopo la caduta di Napoleone.
La vita dell'istituto è strettamente legata, nella prima metà del 1800, a quella del suo futuro insegnante di retorica e rettore Vitale Rosi. A lui si deve il trasferimento, nel 1820, del seminario dai vecchi ed inadatti locali di Palazzo Baglioni a quelli del monastero di San Giovanni. Qui potevano studiare non solo i quindici seminaristi del Seminario, ma anche tanti ragazzi che non volevano intraprendere la carriera ecclesiastica. Così l'istituto venne trasformato in seminario-collegio.
Rosi trasformò, rinnovandoli, i metodi educativi ispirandosi ai principi dei pedagogisti più valenti e curando non solo la formazione culturale, morale e professionale degli allievi, ma anche la loro prestanza fisica e il loro senso estetico, con l'insegnamento della recitazione, della danza e della musica.
A seguito del successo delle sue iniziative il Rosi fu fatto oggetto di calunnie e denigrazioni, tanto che nel 1827 dovette dimettersi da rettore pur continuando la sua attività di insegnante di retorica.
A causa dei danni arrecati dal terremoto del 13 gennaio 1832, il Collegio venne temporanemanete chiuso, per riaprire nel 1837. E' in questa occasione che sorse la prima delle molte controversie tra la Comunità di Spello e la Diocesi di Spoleto in merito alla natura giuridica del Collegio ed alle sue rendite. Nel 1833, con bolla di papa Gregorio XVI la Comunità di Spello fece ribadire "gli antichi diritti e pregi comunali" sui beni del Collegio.
Dopo l'Unità d'Italia, con delibera del 10 novembre 1867 il Collegio fu laicizzato per evitare che perdesse i beni assegnatigli da Urbano VIII a seguito delle demanializzazioni. Nel 1869 Flaminio Rosi, sindaco di Spello e figlio di Vitale Rosi, rifacendosi al dispaccio del 18 agosto 1846 n. 6117 della Sacra congregazione degli studi in cui si riconfermava al Comune il diritto di amministrare il Collegio dimostrò che non si trattava di un seminario, ma di un collegio-convitto. In questa maniera riuscì a salvare le proprietà e a passarle al Comune che ne divenne l'amministratore.
Flaminio Rosi continuò l'insegnamento paterno e affidò, con deliberazione del 5 settembre 1869 la direzione e la cura dell'istituto ai padri Somaschi, cambiandone la denominazione in Collegio-convitto Vitale Rosi.
Questi seguirono con impegno il Collegio fino al 1935, anno in cui venne loro affidato anche il collegio Sgariglia di Foligno. Per amministrare quest'ultimo trascurarono il Vitale Rosi che venne così rilevato dal podestà di Spello. Nel 1942 il vescovo di Foligno avanzò nuovamente dubbi circa la natura giuridica del Collegio ma il Comune tornò a provarne la laicità.
Il Collegio venne ufficialmente sopresso con un decreto ministeriale del 1955, ma soltanto nel 1959 i padri Somaschi lasciarono il loro incarico. Fu allora trasformato dal Comune in scuola elementare, sempre denominata Vitale Rosi.