Lorsque Madeleine de Verchères habite le Domaine seigneurial de Sainte-Anne, le manoir mesure environ quarante-deux pieds de long, de pièces sur pièces. S'y trouve également une grange de soixante-dix pieds de long de pièces sur pièces, ainsi qu'une boulangerie de dix-huit pieds aussi de pièces sur pièces.

Suite à la Conquête de 1760, le manoir de Sainte-Anne aurait possiblement été détruit par l'invasion anglaise. D'où la construction d'un second manoir, cette fois-ci en pierre, entre les années 1763 et 1772 et habité par les héritiers Tarieu de Lanaudière. Avant que ceux-ci habitent dans le manoir, des réparations dont quelques couches de mortier auraient été apportées par des Américains en 1775.

L'existence de cet édifice ne figure cependant pas sur aucun document officiel. Seul un bâtiment qui figure sur des cartes topographiques de 1815 pour la mention de «manoir» est présent. Toujours selon ces cartes, le manoir subit quelques changements jusqu'en 1831.

Jusqu'au début du XIXe siècle, les jardins qui ornent le terrain du manoir sont principalement situés au sud du bâtiment. Des passerelles sont aménagées afin de joindre directement le manoir aux jardins. Un sentier de gravier à l'extérieur permet aux bourgeois et seigneurs qui l'empruntent de se rendre aux bâtiments agricoles de la seigneurie.