Dal 1988 le collezioni museali hanno trovato sistemazione nella nuova sede di Piazza S. Bernardino, in un pregevole edificio posto nel cuore dell'antico castrum di Gavardo.
L’edificio è accorpato alla parrocchiale dell'Assunta, oggi dedicata ai santi Filippo e Giacomo protettori dei tessitori, sul sito ove l'antica pieve di Gavardo sorgeva, o quantomeno era in costruzione, già intorno all'anno 1300.
Le ricerche condotte negli anni da Emilia Nicoli presso gli archivi locali e quelli della Curia vescovile bresciana hanno permesso una prima preziosa ricognizione della storia dell’edificio: accantonata la vulgata un tempo corrente che voleva il complesso accorpato alla chiesa parrocchiale come l'antico palazzo vescovile di Gavardo (il pallacium attestato fra le numerose proprietà della Curia vescovile bresciana presso il feudo di Gavardo), l'edificio è stato ricondotto all'ambito d'uso della comunità ecclesiastica che conviveva stabilmente presso l'antica Pieve gavardese.
La Pieve, la cui rilevanza nell'antico ordinamento ecclesiastico è saldamente documentata, era retta da una nutrita comunità residente: ed è fatto quasi obbligo di pensare che la sua sede avesse una consistenza edilizia notevole, superiore a quella delle semplici canoniche che a partire dal XVI secolo vennero edificate nel territorio in seguito alla fondazione delle parrocchie satelliti separate dalla antica chiesa matrice. Proprio alla fine del XVI secolo, in relazione alla visita pastorale di S. Carlo (anno 1580), abbiamo la menzione della casa parrocchiale, già capitolo della pieve, descritta come annessa alla chiesa. Nello stesso catastico del clero di Gavardo del 1797, trascrizione di rilevazioni catastali risalenti agli anni 1633-1645, risulta di proprietà parrocchiale una casa di più corpi con cortivo e orto nella Contrada della Pieve; confina da tre parti la via e dall'altra parte la Pieve per uso dell'Arciprete: ubicazione che coincide con l'edificio attualmente ospitante la sede museale. Questo rimase in uso fino ai primi anni dell'Ottocento: infine, secondo quanto risulta da un documento conservato presso il locale archivio parrocchiale, divenuto straordinariamente decrepito e anche molto insalubre, …i parroci …l'abbandonarono, lasciandolo in uso al campanaro. Acquistata nel 1862 la nuova canonica, il palazzo rimase proprietà del Beneficio parrocchiale, per essere solo nel 1978 alienato all'Associazione del Museo e poi passare sotto la gestione dell'Amministrazione comunale di Gavardo.
Nel contesto dei lavori di ripristino sono emerse all'interno dell'edificio alcune interessanti testimonianze: affreschi cinquecenteschi a fasce colorate e candelabre in una delle sale al primo piano e una serie di 19 tavolette lignee dipinte, poste a decorazione delle travature lignee del soffitto. Si tratta di 6 stemmi, 7 virtù e 6 vizi: possiamo leggere sugli stemmi gli emblemi di alcune importanti famiglie che ebbero vescovo in Brescia: quello del veneziano Bartolomeo Malipiero (vescovo dal 1457 al 1464), di Domenico de Dominici (1464-1478), e di Lorenzo Zane (1478-1484), e concludere che le tavolette furono commissionate, realizzate e poste a decorazione del piano nobile del palazzo nella seconda metà del XV secolo.