Está situado na Praza da Pedreira, así chamada polas actividades da talla de pedra que aquí desenvolvían os canteiros da cidade. Construído durante os séculos XVII -XVIII, o Pazo de Mugartegui é un precioso exemplo da arquitectura urbana do barroco.
O pazo é coetáneo da igrexa de San Bartolomeu e do Colexio da Compañía de Jesús. Foi construído a instancias de José Manuel Valladares e Figueroa, o maiorazgo de Quintáns en San Esteban de Noalla (Sanxenxo) e conde de Fefiñáns, sobre as ruínas dunha casa do século XVII herdada dos seus pais. Foi obra do mestre canteiro Pedro Antonio Ferreiro, natural de Muimenta, que terminou a construción (excepto o gablete do escudo) no ano 1771.
Actualmente restaurado como sala de exposicións, conferencias e concertos, o Pazo de Mugartegui posúe unha fachada onde están os escudos das familias Figueroa, Araújo, Miranda e Quirós e, coroando a construción, un magnífico exemplar de reloxo de sol.
Dividido en varias vivendas, nos anos 50 do século XX serviu de local á Academia de Estudos Jovellanos. Actualmente é propiedade do Concello de Pontevedra, quen encargou o seu rehabilitación e restauración ao arquitecto Jesús Aser Fole. Nas súas dependencias está instalada a sé do Consello Regulador do viño da Denominación de Orixe Rías Baixas, cun museo do viño na súa planta baixa, mentres que os seus salóns son usados en actos protocolarios, culturais e sociais polo Concello. Logo da súa restauración foi inaugurado para estas novas funcións en marzo de 2001.