Le premier bâtiment, le plus majestueux, est transformé en prison à la Révolution, puis en caserne sous l’Empire.
Sous la Restauration, le grand séminaire est remis en fonction, sous l’autorité de l’évêque qui fait construire deux nouveaux bâtiments : une aile occidentale, entre 1826 et 1831, et une aile orientale en 1855.
Après la séparation de l’église et de l’état, cet ensemble est à nouveau affecté à l’armée, entre 1914 et 1918. Après la guerre, la municipalité, repoussant l’offre de rachat de l’évêché, y transfère l’Ecole Pratique de Commerce et d’Industrie.