Michel Gamelain devient seigneur de Saint-Anne en 1660. Il fait quelques concessions de terres, particulièrement sur l'Île Saint-Ignace, où se trouve la première maison seigneuriale. L'habitation fait approximativement quatre arpents de largeur. Par un intérêt marqué pour les fourrures et le profit qu'elles apportent, Michel Gamelin décide plutôt de vendre sa seigneurie et de consacrer la plupart de son temps à cette activité lucrative. La vente de la seigneurie se conclue officiellement le 29 septembre 1670, devant le notaire de Québec. Edmond de Suève et Thomas de Lanouguère deviennent alors les nouveaux propriétaires de la seigneurie.

Citation : La terre et Seigneurie de Sainte-Anne consistante en une demye lieue de terre de font sur une lieue de profondeur dans les terres, avec les travaux faits par led

Douville, Raymond. Les premiers seigneurs et colons de Sainte-Anne-de-la-Pérade, p.13.

Lors de la prise de la seigneurie en 1672, le territoire se divise en deux. Edmond de Suève possède la seigneurie de Sainte-Marie à l'ouest et n'aura aucun héritier. Quant à Thomas de Lanouguère, il détient la seigneurie de Sainte-Anne à l'est. Le premier manoir de Sainte-Anne est construit vers 1672. Fait de bois, il mesure environ quarante-deux pieds de long. Très modeste à l'intérieur, il comprend une pièce principale, une cave ainsi qu'un grenier.

Lorsque Madeleine de Verchères habite le Domaine seigneurial de Sainte-Anne, le manoir mesure environ quarante-deux pieds de long, de pièces sur pièces. S'y trouve également une grange de soixante-dix pieds de long de pièces sur pièces, ainsi qu'une boulangerie de dix-huit pieds aussi de pièces sur pièces.

Suite à la Conquête de 1760, le manoir de Sainte-Anne aurait possiblement été détruit par l'invasion anglaise. D'où la construction d'un second manoir, cette fois-ci en pierre, entre les années 1763 et 1772 et habité par les héritiers Tarieu de Lanaudière. Avant que ceux-ci habitent dans le manoir, des réparations dont quelques couches de mortier auraient été apportées par des Américains en 1775.

L'existence de cet édifice ne figure cependant pas sur aucun document officiel. Seul un bâtiment qui figure sur des cartes topographiques de 1815 pour la mention de «manoir» est présent. Toujours selon ces cartes, le manoir subit quelques changements jusqu'en 1831.

Jusqu'au début du XIXe siècle, les jardins qui ornent le terrain du manoir sont principalement situés au sud du bâtiment. Des passerelles sont aménagées afin de joindre directement le manoir aux jardins. Un sentier de gravier à l'extérieur permet aux bourgeois et seigneurs qui l'empruntent de se rendre aux bâtiments agricoles de la seigneurie.

En 1825, au moment où John Hale est le seigneur de Sainte-Anne, un agrandissement du manoir fait en sorte qu'une partie centrale s'ajoute à la construction. Le tout aurait été fait lors de la visite de Lord Dahlousie à Sainte-Anne-de-la-Pérade. Le manoir possède alors un toit en pente à deux versants. Divers matériaux sont utilisés afin de retravailler quelques couches du bâtiment seigneurial. Brique et mortier font partie de ces matériaux utilisés lors de la réparation du manoir et de la construction de l'appentis-chapelle. Dans les années 1850, des représentations plus concrètes du manoir présentent un fronton néo-classique qui orne le seuil de la porte.

Dans la seconde moitié du XIXe siècle, on retrouve également des jardins ornementaux aménagés au nord du manoir, près des bâtiments agricoles et de la fromagerie. En 1875, on dénombre plusieurs variétés de fleurs et d'arbustes et en 1890, un aménagement massif est formé et présente une grande variété de fleurs.

Citation : Le manoir était recouvert d'un toit à deux eaux, percé de quatre lucarnes en appentis, et de deux cheminées. Celle de droite est sans doute la même qui sépare aujourd'hui l'annexe ouest. L'autre est située au tiers est, au-dessus de la base de la cheminée qui se trouve à l'intérieur des ruines.

Document du Ministre des affaires culturelles du Québec 1986. p.30.

Lorsqu'Honoré Mercier prend possession du manoir de Sainte-Anne-de-la-Pérade, plusieurs modifications sont achevées sur la structure. La toiture de l'édifice aurait été équarrie dans les années 1890, ce qui donne l'aspect d'une tour à une partie du bâtiment. Mercier aurait également construit une grange-étable, une écurie ainsi qu'une grange à proximité du manoir.

Entre 1891 et 1893, François-Xavier Mercier, le menuisier d'Honoré, s'occupe de l'entretien général du domaine ainsi que des arbres fruitiers. Plusieurs variétés de fruits se trouvent à Sainte-Anne-de-la-Pérade et ce, depuis le début de la colonisation. On retrouve notamment des fraises, framboises, groseilles, cerises et autres petits fruits. Quelques variétés de plantes aromatiques ainsi que certains légumes de jardins poussent également à proximité du Domaine seigneurial.