Au fil des siècles, la forteresse passe entre les mains de plusieurs grands personnages.
Durant 140 ans, Châteauneuf demeura dans la Maison de VIENNE, c'est à dire jusqu'à ce que Louis Henri de VIENNE, confronté à son tour, à des difficultés financières, vende, le 22 Mars 1767, domaine et château, à un riche banquier parisien, M. PARIS de MONTMARTEL.
A la Révolution française le site subit de nombreux dégâts.
Il est vendu aux enchères et il faudra attendre 1930 pour que le comte de la Vogue le cède à l'État.
Riche sur les plans architecturaux et culturels, le château abrite de belles tapisseries tissées en laine et soie.
Certaines représentent des épisodes de la vie de Moïse.