Nadat hij het dorp in 1306 had gekocht, liet de graaf van Savoye, Amédée V, een nieuw kasteel bouwen en besloot hij het dorp te versterken om zichzelf te beschermen tegen vijandelijke aanvallen. Het kasteel is niet toegankelijk voor bezoekers.
Vanaf 1308 begon de graaf met de versterking van Yvoire om aanvallen van de heren van Faucigny te voorkomen. In deze periode werd het kasteel gebouwd en werden er wallen opgetrokken rond het dorp. De werkzaamheden duurden van 1308 tot 1318. Het gebouw werd gebouwd aan het einde van een landpunt, tegenover het meer, zodat de vijand van alle kanten te zien was. De voormalige toegangsdeur op de eerste verdieping is duidelijk zichtbaar op de gevel, maar is nu dichtgemetseld.
De familie Bouvier, eigenaar van het huis sinds 1655, voerde grote restauratiewerken uit (van 1919 tot 1939), waaronder het dak, dat het slachtoffer was geworden van aanvallen door de Berners in de 15e eeuw.
Het kasteel is niet toegankelijk voor het publiek
De familie Bouvier, eigenaar van het huis sinds 1655, voerde grote restauratiewerken uit (van 1919 tot 1939), waaronder het dak, dat het slachtoffer was geworden van aanvallen door de Berners in de 15e eeuw.
Het kasteel is niet toegankelijk voor het publiek
