Le château est construit dans le parc en 1859 par le baron Henry Charles de Poilly. Il fait redessiner le parc du Château de François 1er par le Comte de Choulot, avant d'y élever le Château dit "du parc", avec une orangerie, un petit théâtre, le pavillon du garde sur l'ancien jeu de battoir, la maison du jardinier au sud du Parc , un pavillon pour le régisseur et d'important écuries pour son équipage de chasse.

Actuellemnt, ce pavillon se trouve à l’angle de la rue Bernard Lefèvre et de l’avenue Ambroise Croizat face à la place verte.