Simple hameau de Desingy, Clermont a pris de l'importance vers le Xème siècle, au Moyen Age, grâce à sa position. Les évêques de Genève, propriétaires du Genevois, inféodent leur domaines aux Comtes de Genève jusqu'en 1401.
Pour protéger leurs frontières ceux-ci font édifier un châyeau-fort. Lorsqu'en 1401 Amédée VIII de Savoie prend possession du Genevois, le village est entouré de remparts. En 1630, perdant de son importance, le château-fort est pris par les Français et démantelé. Le village s'étend hors des remparts. Le château actuel sera construit de 1575 à 1580.
