Pierre-Thomas Tarieu meurt au manoir de Sainte-Anne en 1757 et est enseveli aux côtés de sa femme Madeleine. C'est leur fils Charles-François qui hérite de la seigneurie. Il est d'ailleurs le seul héritier du titre de seigneur de Sainte-Anne. Manifestement préoccupé par sa brillante carrière militaire, il ne démontre que très peu d'intérêt pour ses obligations seigneuriales Il faut dire qu'à cette époque, la Nouvelle-France subit les contrecoups de la guerre de Sept ans qui oppose la France - la mère patrie - à l'Angleterre. Lorsque le conflit se solde par la Conquête en 1760, Charles-François Tarieu se rend en France. Il y demeure trois ans.

À son retour au pays, il réside à Québec et lègue sa seigneurie à son fils Charles-Louis. Comme son père, celui-ci ne séjourne qu'occasionnellement à Sainte-Anne. Il préfère consacrer son temps à ses actions politiques et militaires, entreprises en étroite collaboration avec les nouveaux dirigeants anglais de la colonie.

Lors de l'invasion américaine de 1775, il revient au service de l'armée britannique afin de recruter des miliciens. Il enrôle une vingtaine de jeunes hommes de Sainte-Anne, une initiative que les paysans canadiens-français perçoivent d'un mauvais œil. À l'époque, le peuple sympathise avec les Américains qui désirent s'affranchir de l'emprise coloniale de l'Angleterre. D'ailleurs, Charles-Louis est généralement exécré de ses censitaires. Ses rares visites à Sainte-Anne se caractérisent par de mémorables querelles avec ceux-ci.

À son décès en 1811, la seigneurie passe aux mains de Marie-Anne, sa seule héritière. Elle la vend en 1819, ce qui met fin au règne des Tarieu de Lanaudière, qui ont été seigneurs de Sainte-Anne pendant 150 ans… moins 2 jours.