Certains ont prétendu que ce nom n'avait aucune relation avec la montagne et qu'il rappellerait Jacob Mountain, premier évêque anglican de Québec. Toutefois, la rue de la Montagne est à l'origine un chemin ou sentier qui conduit à la montagne et, à partir du XVIIe siècle, à la mission amérindienne des sulpiciens. Une carte de la ville, tracée par Jourdain La Brosse, en date de 1761, montre le chemin appelé «chemin des Sauvages de la montagne». L'emplacement de ce chemin correspond à celui démontré plus tard sur des cartes comme étant le «chemin de la Montagne», aujourd'hui rue de la Montagne.Il est démontré dans un plan de la ville de l'arpenteur Jean Péladeau, tracé en 1778, que «les courbes du chemin devront être redressées». Cela prouve encore une fois que le «chemin de la Montagne» existe et est nommé bien avant l'arrivée de Jacob Mountain, en 1793. Il semble que ce chemin rejoint un sentier qui suit à peu près la rue Sherbrooke.