La bâtisse est à l'origine une ancienne magnanerie (élevage de vers à soie) et devient à l'époque de la révolution la mairie de la ville.

En 1971 c'est l'hostellerie du château qui s'y installe avant de devenir le CHÂTEAU Olive et Raisin en août 2022, l'établissement propose non seulement de la restauration mais aussi une dégustation de vins (plus de 30 références) ainsi qu'une épicerie provençale.