Dans les années 1840, la voie ferrée de la ligne Angers-Nantes est implantée sur le chemin de halage, le long de la Loire. Un tunnel est percé pour la traversée de la pointe du promontoire, mais les parties les plus basses sont détruites. Le site est laissé à l'abandon un siècle durant, ce qui permet à la végétation de proliférer et d'endommager partiellement les constructions. En 1944, trois bombes atteignent le domaine lors du bombardement du pont d'Oudon par les Alliés.
Les Folies Siffait sont inscrites au titre des monuments historiques par l'arrêté du 22 juillet 1992. Longtemps propriété privée, elles entrent au patrimoine de la commune du Cellier en 1986, puis passent au département de Loire-Atlantique le 8 février 2007.
Toujours interdit d'accès au public pour des raisons de sécurité, le site est néanmoins accessible durant les Journées du Patrimoine.
