Costruito nel 1542, il palazzo prende il nome dalla famiglia Alidosi, ma non corrisponde al loro primo insediamento. Gli Alidosi, infatti, governarono questo territorio per oltre 400 anni (dal XIII al XVII sec.) e si stabilirono inizialmente più a monte, in quello che oggi è conosciuto come il “castellaccio” e di cui sono rimaste alcune rovine. Questo edificio, nei pressi del quale scorreva il Rio del Monte, era conosciuto con il nome di “Castrum Rivi”, rimasto fino ad oggi a indicare il borgo che vi nacque intorno.

La progressiva rovina dell’antico castello fu la spinta che ricevettero nel XV secolo Cesare e Rizzardo Alidosi per costruire il nuovo palazzo. Attribuito a Francesco da Sangallo, presenta un’architettura tipica dei “palazzi-fortezza”, caratterizzata da due bastioni a losanga molto pronunciati, la cui forma si sviluppò nella seconda metà del ‘400 per arginare la potenza dell’artiglieria dell’epoca.

Purtroppo, questa struttura non fu fortunata come la storia della sua famiglia, i lavori infatti durarono circa 20 anni e non furono mai portati a termine. I bastioni dovevano essere quattro e il palazzo doveva comprendere un ampio cortile interno. Fortunatamente, è arrivato fino a noi il cortiletto detto “delle fontane”, piccolo gioiello rinascimentale contenente colonne e tre fontane in arenaria, le cui pareti sono decorate con gli stemmi degli esponenti della famiglia Alidosi e le nicchie che un tempo ne ospitavano i busti.

Restaurato più volte nel corso degli anni, il palazzo è ora sede comunale e ospita inoltre la biblioteca, il Museo della Guerra e della Linea Gotica, il museo del castagno e il centro di educazione ambientale animal tower.