Le collège est construit largement en retrait de la rue, en milieu de parcelle, avec cour antérieure et postérieure. De plan en H, le corps central est de forme rectangulaire limité par deux pavillons qui se rattachent à deux longues ailes perpendiculaires. Il montre une élévation à 8 travées ordonnancée de 2 étages carrés sur un rez-de-chaussée surélevé et étage de soubassement avec étage de comble couronné d'un toit à croupe pour les pavillons.
En 1762, les jésuites évacuent le collège qui est alors confié à l'administration communale. Un projet est dressé en 1822 par l'architecte-voyer (Brunet-Debaines) pour de nouveaux bâtiments. Le plan général des bâtiments et dépendances du collège, dit "Royal et Communal" de ce projet qui s'étend à l'époque sur l'emplacement de l'école Paul Bert, montre, en indiquant les nouveaux bâtiments à construire, ceux à démolir et à conserver. Ce projet n'est pas suivi.
Les bâtiments sont démolis plus tard, en 1887, pour faire place à ceux du collège actuel Jules Simon. Seule la chapelle est conservée. La construction du nouveau collège est entreprise sous la municipalité Burgault qui développe une véritable politique scolaire aidée par l'Etat et ses subventions. C'est l'architecte Amand Charier qui en dresse les plans. Le collège est agrandi avant la seconde Guerre mondiale : il se dote d'un bâtiment vers l'ouest d'un internat et d'un bâtiment technique situé au nord.