Se trata de un edificio, de estilo aragonés, construido en 1613 que, junto con los jardines anejos, bienes muebles y fondos archivísticos y bibliográficos, es propiedad de la Comunidad Autónoma de Aragón desde 1987, en virtud de la escritura de donación otorgada por los barones de Valdeolivos. Conserva tanto la documentación patrimonial de la familia como diversas colecciones debidas a las inquietudes intelectuales de algunos de sus componentes.