Le faste du Domaine Tourouvre est de courte durée, puisque la ruine politique et financière de Mercier oblige la cession volontaire de tous ses biens en 1892. Une fois de plus, le domaine - manoir, écurie, étable, beurrerie, fromagerie, animaux et meubles - est vendu aux enchères.

En peu de temps, le Domaine Tourouvre, comme on l'appelait alors, connaît plusieurs propriétaires successifs : J.H. Dubord, Michel Lefebvre et Gilbert Jérôme Latour. La rumeur attribue généralement à ce dernier la création de l'aménagement floral en forme d'étoile au centre du jardin. En 1901, c'est l'échevin Roy de Montréal qui fait l'acquisition du domaine. À compter de 1904, le Domaine seigneurial de Sainte-Anne, jadis le point focal du village, devient une ferme à l'égal de toutes celles qui abondent dans le Québec rural.

Au cours de l'hiver 1927, un violent incendie ravage la partie est de la maison. Seuls l'annexe centrale et l'appentis résistent aux flammes. De la portion du manoir érigée par les Lanaudière au cours de la seconde moitié du 18^e siècle, il ne demeure que des ruines. Les appartements épargnés abritent les propriétaires encore quelques années, après quoi le bâtiment sera peu à peu abandonné.

Le Domaine seigneurial Sainte-Anne est une partie intégrante de la mémoire collective de la communauté. Avant la restauration du manoir, dans les années 1990, par le gouvernement, les gens de la région racontaient que les ruines étaient hantées par les fantômes du passé, mais ceci est une toute autre histoire…