François-Alphonse Hénault de Cantobre, trésorier de France de la généralité de Montauban, acheta en 1702 une grande maison appelée hôtel du Guesclin et, en 1704, la maison voisine dénommée l’Ecu de Pologne. Il confia à Edme Fourier, architecte et entrepreneur, le soin de construire, à l’emplacement de ces deux maisons, un hôtel qui fut achevé en 1707.
L’architecte logea son neveu Michel de Surirey de Saint-Rémy, conseiller du roi, qui s’était marié cette année-là à Marie-Louise Vacherot, belle-fille d’Hénault de Cantobre. A la mort du trésorier en 1737, Surirey de Saint-Rémy qui avait épousé sa belle-fille devint propriétaire de l’hôtel. Mais l’homme fit faillite en 1741 et l’hôtel fut adjugé en 1746 à Augustin Gayet, secrétaire du roi au parlement de Pau. En 1793, Edme Delaborne acquit l’hôtel qui resta dans la même famille jusqu’au XXe siècle.
Acquis par la Ville de Paris en 1943, l’hôtel abrite depuis 1995 La maison européenne de la photographie dont l’installation a entrainé une restauration très lourde des bâtiments. La demeure est un beau spécimen d’architecture Louis XIV finissante, rare dans le Marais. La forme étirée de la parcelle a imposé une disposition peu usuelle de la cour et du jardin, placés l’un après l’autre. Trois balcons rythment la façade du premier étage de l’hôtel : celui du centre est soutenu par une console en pierre ornée d’une tête de maure en turban, les autres latéraux sont peu saillants. La façade en pierre de taille est représentative de l’architecture de Louis XIV. Deux boutiques y étaient aménagées à l’exemple de l’hôtel de Beauvais, pour assurer des revenus locatifs.
Germain de Brice décrivait l’hôtel en 1752 de ces mots : « Vis-à-vis, presque au coin de la rue de Fourcy, ouverte depuis quelques années pour donner un accès facile au pont Marie et à l’île Notre-Dame, on distinguera une grande maison bâtie en 1706, décorée par dehors de plusieurs balcons d’une très belle apparence, avec des sculptures et divers ornements exécutés avec bien de la propreté. Elle appartient à Hainault de Cantobre, fermier général. »