À partir de 1682, il fut locataire de l'hôtel connu aujourd'hui comme l'hôtel Pierrard, situé à Paris, 11 place des Vosges. Il acheta en 1695 cet hôtel, qu'il lègue au fils de son frère Édouard Colbert, marquis de Villacerf: son neveu Pierre Gilbert Colbert, marquis de Payens, puis de Villacerf, sous réserve de l'usufruit donné, sa vie durant, au frère de celui-ci, Charles Maurice Colbert, abbé de Villacerf[1].
Il y œuvra à la construction d'un nouvel hôpital général «Hôtel-Dieu» au nord de la ville, et commença la construction de la nouvelle cathédrale. Il acheva également la construction d'un nouvel évêché (l'actuel musée Ingres), qui servit de palais épiscopal jusqu'en 1790. C'est aussi pendant son mandat à Montauban que le collège des Jésuites prit son aspect actuel.
Hôtel Pierrard, à Paris, 11 place des Vosges, domicile parisien et demeure mortuaire de Jean-Baptiste Michel Colbert de Saint-Pouangel'archevêque Jean-Baptiste-Michel Colbert de Saint-Pouange (1675)
P. Louis Lainé, J.J.L. Lainé, Archives généalogiques et historiques de la noblesse de France: ou, Recueil de preuves, mémoires et notices généalogiques, servant à constater l'origine de diverses familles nobles du royaume, vol.3, L'auteur, (lire en ligne)