En 1900, le Canadien Pacifique fait construire les usines Angus près des villages de Petite-Côte et Côte-de-la-Visitation, confiant l'achat des terrains à Ucal-Henri Dandurand. Le village incorporé fut nommé en l'honneur de la mère de M. Dandurand, appelée Rose Philipps. En 1910, celui-ci fut définitivement rattaché à la ville de Montréal.
Le nom La Petite Patrie provient du feuilleton télévisé La Petite Patrie de Claude Jasmin, réalisé dans les années 1970, qui évoque les heureux souvenirs de la jeunesse montréalaise de ce quartier dans les années 1930. Ce nom a été adopté à partir des années 1980.