Tour arrondie vers l'extérieur et heptagonale à l'intérieur comprenant cinq niveaux avec une tourelle hors oeuvre qui abrite l'escalier à vis desservant les 3 étages supérieurs, les deux niveaux bas étant desservis par un autre système de circulation. Les trois étages supérieurs comprennent trois salles polygonales. Le troisième étage est éclairé par de hautes fenêtres à meneaux et comprend une cheminée monumentale. Le niveau inférieur comprend une batterie basse dans des casemates ouvertes par des cannonières à mire presque invisibles de l'extérieur car enterrées sous les remblais modernes des jardins de la Garenne.
Destinée vraisemblablement au connétable, c'est-à-dire au chef des armées du duc, probablement Arthur de Richemont, frère de Jean V, la tour du Connétable est intégrée aux remparts est de la ville et construite d'après ses caractéristiques architecturales sous Jean V entre 1399-1442. Les arrachements de murs de part et d'autre du pan coupé, visibles du côté de la rue des Remparts montrent que la tour faisait partie d'une seconde enceinte protégeant la basse-cour du château de l'Hermine. Le soin apporté aux linteaux ornés d'arcs tréflés des machicoulis du côté de la basse-cour reflète l'intégration de la tour à la vie de la cour ducale et au château qui n'était pas loin.
Les gravures anciennes du 19e siècle montrent du côté de l'ouest des bâtiments qui ont disparu aujourd'hui et qui fermaient l'accès à la tour depuis la rue des Remparts. Si les trois salles superposées au coeur de l'édifice étaient réservées à l'habitation avec au troisième niveau une salle de réception, le niveau inférieur est de caractère défensif, destiné à recevoir une batterie basse. Au 18e siècle, la tour sert de prison, notamment pendant la Révolution où les émigrés capturés, en 1795, lors de l'affaire de Quiberon, y sont enfermés. Des plans sont dressés en 1811 par l'architecte-voyer Brunet-Debaines pour servir à l'incarcération des femmes.