Fundada pola familia Noguerol, condes de Amarante, no século XIII sobre un antigo castro. Existe unha lenda que asegura a existencia baixo terra duns pasadizos que comunican o pazo co monte farelo. Un túnel construído por escravos do que moitos aseguran a súa existencia.

A Casa de Amarante está relacionada co mosteiro de Vilar de Donas, onde ten os seus enterramentos. Na orixe desta familia salientan os numerosos cabaleiros que en loita co “infiel” deron a súa vida e o seu apoio, eminentemente económico, ao Priorato de Vilar de Donas (onde posteriormente terán os seus sepulcros).

Do antigo castelo, consérvase unha gran estrutura de pranta oval, que puido ser unha torre ou un reducto central, á que se accede por unha porta oxival, o que nos leva a supoñer que a construción é do século XIV ou XV. Posteriormente engadíuse un torreón que non chegou ós nosos días o seres derrubado polo gobernador Don Fernando de Acuña. Foi recosntruído por Roi Fernández Noguerol. Este persoaxe foi un dos capitáns máis destacados nas contendas entre o arcebispo de Santiago, don Alonso de Fonseca, e Lope Sánchez de Moscoso. Tamén participou na guerra de Granada en 1480. Apoiada a eses restos edificouse xa no século XVII o pazo ou mansión da familia dos Noguerol, como o confirman os escudos coas armas deste nobre liñaxe dos condes de Amarante.

Da construción orixinal tan só quedan algúns restos, xa que do mesmo xeito que as outras fortalezas medievais galegas, sufriu tamén os ataques das revoltas irmandiñas.

O pazo é de ruda arquitectura, destacando as solainas situadas nas esquinas do edificio, con balaustres graníticos e sustentadas en ménsulas de maior a menor (máis pequenas, pero similares en factura ás da balaustrada do Pazo de Santa Mariña de Amarante, tamén en Antas de Ulla).

A existencia dun hórreo asentado sobre o portalón da entrada fai pensar na súa función máis recente como casa de labranza, lonxe xa de aquelas loitas medievais que destruíron a fortaleza inicial.