Le Château est un assemblage composite de trois bâtiments soudés, mais d'époques différentes, probablement édifié durant la période très agitée des XIII^e et XIV^e siècles, où Savoyards, seigneurs locaux et troupes bernoises ou valaisannes tentaient de s'emparer de riches terres vaudoises. 

Il connut plusieurs propriétaires et affectations au fil du temps; sous la houlette du Dr. Léon-Henri Pinard, il fut notamment transformé en clinique pour le traitement d'affections nerveuses au début du XX^e siècle.

Racheté en 1946 par la Commune, le Domaine du Château est progressivement utilisé par l'administration.

En 2009, le bâtiment est entièrement vidé et transformé. L'aile, qui était à la base une grange, est détruite. Seuls la tour et le corps du bâtiment principal sont conservés et servent désormais de salles d'expositions.