Luis Fernando Saavedra fue señor del coto y fortaleza de Miraz, territorios cercanos a Friol, a mediados del siglo XVIII. Sin embargo su vida familiar y social no sucedía en sus dominios rurales, si no que la realizaba en la ciudad de Lugo. Por eso, en 1763 encargó a Xosé González Sierra, un discípulo del afamado arquitecto Ferro Caaveiro, construir este palacete.

El pazo de sencillas líneas barrocas, cuenta con las características arquitectónicas específicas del estilo que se dieron en Galicia. Situado a los pies de la Muralla Romana de Lugo, de sus muros sobresale un nogal centenario situado en el patio interno de la propiedad. De su fachada resalta el escudo nobiliario de la familia Saavedra de Miraz y su austeridad estética, algo que llama la atención en el recargado Barroco. Lo que deja constancia de la modesta posición económica de la familia dentro de la aristocracia gallega de la época.

Permaneció en la familia Saavedra hasta 1931 y después tuvo varios usos, incluyendo una fábrica de bebidas carbonatadas. Pero sin duda, los lucenses recuerdan su época dorada alojando a uno de los restaurantes más famosos de la ciudad: El Portón de Recanto. En sus salones se celebraron los eventos más ilustres de Lugo hasta 1979. Una de las ceremonías más sonadas celebradas en el Portón do Recanto fue la boda de Uxío Novoneyra, poeta de la zona de O Courel y de Lugo.

También se realizaron exposiciones de notables pintores locales como Luis Gómez Pacios, ocupación que en la actualidad se seguirá desempeñando en la sala de exposiones situada en la cafetería.