Palazzo Pretorio è una imponente struttura medievale e uno dei palazzi più belli dell'Italia Centrale. La parte più antica, in laterizio rosso, conserva la struttura della casa torre duecentesca. Nel 1284 il Capitano del popolo Francesco dei Frescobaldi l'acquistò per farne la sede del governo comunale. La parte in pietra chiara di alberese, preceduta da un'ampia scalinata e impreziosita da otto bifore e un tabernacolo, venne aggiunta nel XIV secolo. Il coronamento merlato e il campanile vennero invece aggiunti nel XVI secolo. Vari stemmi appartenenti a famiglie di podestà e vicari ne arricchiscono la facciata.
Dopo la ristrutturazione il palazzo è tornato ad ospitare il museo civico, la più antica istituzione culturale cittadina per storia e collezioni. La sua fondazione risale all'epoca di Pietro Leopoldo (1788) ma la galleria vera e propria fu allestita nel XIX secolo da Cesare Guasti che la caratterizzò con l'apporto di opere di provenienza ecclesiastica. Uno dei nuclei più importanti del museo è costituito dalle opere di maestri del Trecento, Cinquecento e del periodo barocco. Il museo dispone anche di una sezione appositamente ristrutturata per ospitare mostre temporanee.