Fundada por la familia Noguerol, condes de Amarante, en el siglo XIII sobre un antiguo castro. Existe una leyenda que asegura la existencia bajo tierra de unos pasadizos que comunican el pazo con el monte Farelo. Un túnel construido por esclavos del que muchos aseguran su existencia.
La Casa de Amarante está relacionada con el monasterio de Vilar de Doñas, donde tiene sus enterramientos. En el origen de esta familia destacan los numerosos caballeros que en lucha con el “infiel” dieron su vida y su apoyo, eminentemente económico, al Priorato de Vilar de Doñas (donde posteriormente tendrán sus sepulcros).
Del antiguo castillo, se conserva una gran estructura de planta oval, que pudo ser una torre o un reducto central, a la que se accede por una puerta ojival, lo que nos lleva a suponer que la construcción es del siglo XIV o XV. Posteriormente se añadió un torreón que no llegó a nuestros días al ser derribado por el gobernador Don Fernando de Acuña. Fue reconstruido por Roi Fernández Noguerol. Este personaje fue uno de los capitanes más destacados en las contiendas entre el arzobispo de Santiago, don Alonso de Fonseca, y Lope Sánchez de Moscoso. También participó en la guerra de Granada en 1480. Apoyada a esos restos se edificó ya en el siglo XVII el pazo o mansión de la familia de los Noguerol, como lo confirman los escudos con las armas de este noble linaje de los condes de Amarante.
De la construcción original tan sólo quedan algunos restos, ya que al igual que las otras fortalezas medievales gallegas, sufrió también los ataques de las revueltas irmandiñas.
El pazo es de ruda arquitectura, destacando las solanas ubicadas en las esquinas del edificio, con abalaustres graníticos y sustentadas en ménsulas de mayor a menor (más pequeñas, pero similares en factura a las de la balaustrada del Pazo de Santa Mariña de Amarante, también en Antas de Ulla).
La existencia de un hórreo asentado sobre el portalón de la entrada hace pensar en su función más reciente como casa de labranza, lejos ya de aquellas luchas medievales que destruyeron la fortaleza inicial.