A la fin du 17e siècle, Vannes, enserrée dans l'enceinte médiévale, connaît un essor économique généré notamment par l'activité portuaire et par l'accueil du Parlement de Bretagne (1675-1689). Par ailleurs, l’installation d’une dizaine de couvents participe à l’augmentation de la population qui passe de 10000 à plus de 13000 âmes entre 1650 et 1689. Pour faciliter l’accès des charrois de marchandises en provenance de Rennes et de Nantes dans l’intra-muros et éviter les grands embarras de la porte Prison, il est décidé d'ouvrir deux portes dans l'enceinte, la porte Saint-Jean au nord et la porte Poterne à l'est. Cette dernière est percée dans la courtine reliant le château de l'Hermine au bastion de la Garenne édifié à proximité entre 1626 et 1628.
Le projet est attribué à François Cosnier, architecte vannetais, vers 1678 suivant le principe de portes à grands vantaux en bois. L’ouvrage demandé consiste également en la construction d’un passage carrossable surélevé et enjambant les douves et la Marle. Dès son percement, la porte Poterne est le seul passage carrossable ouvert dans le flanc est de l'enceinte, la porte Calmont (14e siècle) ayant été fermée au milieu du 17e siècle. En 1922, afin de faciliter le passage des véhicules hauts, l'arc plein cintre est rehaussé.
La niche qui surmonte l'arcade extra-muros abrite une statue de la Vierge à l'Enfant dont l'original est conservé au musée des Beaux-Arts de Vannes.
Au siècle dernier, le linteau primitif de la porte Poterne est supprimé pour augmenter la hauteur du passage.