Le couvent est construit en granite avec utilisation de la pierre blanche pour les fenêtres, les larmiers et la corniche. Il s'organise aujourd'hui autour d'un cloître à trois galeries aux arcades en plein cintre reposant sur des piles quadrangulaires. Le cloître est surmonté d'un étage carré et d'un étage de comble percé de lucarnes. La cage d'escalier, dans l'aile sud comprend un escalier en maçonnerie à retour sans jour. La chapelle orientée à l'est vers le port présente son élévation principale en pierre de taille de granite avec bas-côtés, l'ensemble se terminant par un fronton cintré interrompu. La façade montre un décor sobre de type classique.
Au XVIIe siècle, le renouveau spirituel lié à l´élan de la réforme catholique, engendre la multiplication des établissements conventuels en milieu urbain. Vannes n´échappe pas à cette règle. La fondation du couvent des Carmes déchaussés situé dans le quartier du port participe à la modification du paysage religieux et urbain de la première moitié du siècle.
L'étude de l'abbé Le Mené nous révèle qu'à l'origine de cet établissement figurent le président du présidial de Vannes, Jean Morin seigneur du Bois-de-Tréhan, et son épouse, qui offrent aux Carmes leur maison bâtie sur la rive droite du port dans le faubourg de Kaer. Parmi les six religieux venus s´installer à Vannes en juin 1627, se trouve l'un des fils des époux Morin. La construction d´une chapelle débute deux ans plus tard. La première pierre est posée le 3 mai 1629 par le prince de Condé, Henry de Bourbon, et bénie par l´évêque Sébastien de Rosmadec. La commande d'un retable pour l'autel majeur en 1666 marque sans doute l'achèvement de la chapelle. Parallèlement, l´édification du couvent commence, organisé autour d´un cloître à quatre galeries dont l´une est adossée à la chapelle placée au nord où se trouvait la bibliothèque, tandis que le dortoir et son oratoire occupaient l'étage des ailes ouest et sud. La pose du retable entraine d'après les marchés et l'examen des lieux, le déplacement du choeur vers l'est ; le premier choeur est transformé en sacristie à laquelle on accède par deux portes placées de chaque côté du retable.
Au XVIIIe siècle, d´autres aménagements sont réalisés : création d´un petit cimetière à l´est du couvent, c´est à dire immédiatement devant l´entrée actuelle du cloître et reconstruction de la nef de la chapelle primitive. L´entrepreneur et « maître constructeur » Bertrand Le Hen dirige les travaux achevés en 1737 comme l´indique le millésime sculpté sur la façade principale de l´église.
En 1791 les Carmes déchaussés de Vannes sont expulsés et leurs biens confisqués. Le mobilier et une partie de l'immobilier sont vendus biens nationaux. Seuls le couvent et les terrains ne trouvent pas d'acquéreur et la chapelle sert temporairement de dépôt pour la Marine. En 1802 l´évêque concordataire monseigneur de Pancemont se fait accorder l´ensemble. En 1828, les travaux initiés par Brunet-Debaines sont entrepris mais interrompus l'année suivante. Ils concernaient la réparation du lambris de la voute de la nef, la cloison de bois séparant la charpente de la nef de celle du choeur, le plafond du choeur primitif, la quasi totalité du dallage intérieur et le mur circulaire du fond du choeur remodelé par la construction de colonnes et d'une voute en forme de coupole en plâtre. Le projet est repris par Charier entre 1863 et 1869. Des travaux déjà réalisés dans le choeur par Brunet-Debaines, seul est conservé le mur circulaire ; le reste du décor est démoli. L´évêché occupe les lieux jusqu´à la Séparation de l´Eglise et de l´Etat, avant que la ville n´en reprenne la totale jouissance y installant tour à tour le musée, un cours d´enseignement général, puis l´école de musique en 1979. Quant aux anciens jardins, ils laissent place au parc des sports.
La chapelle des Carmes sert désormais d´auditorium à l´école de musique.