C'est au début du XIXe siècle que Maximilien Siffait, né à Abbeville dans la Somme, entreprit de bâtir, sur les ruines d'une place forte médiévale appelée Château-Guy, un ensemble de constructions bizarres sans fonction particulière. Les murailles de ces vestiges factices sont ornées de trompe-l'œil, de fenêtres aveugles et de portes qui ne mènent nulle part, comme dans les dessins de Maurits Cornelius Escher (triangle de Penrose).