En el municipio de Lousame hay constancia de que a principio del siglo XII había una ermita dedicada a San Xusto y San Pastor a orillas del río San Xusto y que su propietario D. Ramón Pedro Crescón la dona a los caballeros Froila Alonso y Pedro Muñoz de Carnota, que servian al rey Alfonso VII, pero ambos deciden cambiar su vida militar por la vida monacal, asi que transforman la ermita en un monasterio en el año 1132 y el obispo Diego Xelmirez lo consagra a finales del año 1135.
El monasterio fue uno de los catorce monasterios cistercienses más importantes de Galicia hasta que llegó un momento en que el monasterio de Toxosoutos en el siglo XVI se convirtió en un priorato más del monasterio de Sobrado, y tuvieron que abandonar la orden benedictina y pasar a la regla cisterciense, y de esta forma perdieron completamente su independencia religiosa y civil y los monjes fueron abandonando poco a poco el monasterio y vendieron parte de sus posesiones.
El claustro románico del siglo XIII fue vendido en el silgo XIX por el párroco de San Xusto al Vizconde de San Alberto que lo incorporó en su casa que estaba construyendo en Noia y que se conoce como "Pazo da Pena do Ouro".
Se conservan algunas dependencias y construcciones anexas ,el molino y el palomar, que han sido rehabilitadas.