Comme plusieurs voies de Montréal, cette dénomination rappelle celle d'une ancienne résidence privée. L'honorable Frédéric-Auguste Quesnel (1785-1866), admis au barreau en 1807, fait son nom dans la haute finance ainsi que dans la politique. Il acquiert des Hospitalières de Saint-Joseph une partie du fief Saint-Joseph, où, en 1825, il fait construire une résidence qu'il nomme le manoir du Souvenir en mémoire de son épouse Marguerite Dufault, décédée très jeune. Au cours des ans, le vaste terrain où est érigée cette résidence est morcelé par les aménagements du canal Lachine et par la voie ferrée Montréal-Lachine. Il demeure aujourd'hui, sur la rue Hawarden, une vieille maison que l'on identifie généralement comme cette maison du Souvenir modifiée ou encore comme une dépendance de cette maison.