Au IVème siècle
Les Romains abandonnent leur oppidum dont il reste toujours quelques murs dans la promenade.
Au VIIème siècle
On creuse les rochers, dans les fondations, des remparts dont il reste toujours deux fauteuils avec accoudoir au milieu. Ces deux fauteuils, d'après les bâtiments de France, remontent à l'époque carolingienne.
Au XIème siècle
Donjon en bois entouré d'une palissade
Au XIIème - XIIIème siècle
Un petit château remplace l'existant avec une petite fortification dans laquelle est incorporé un pigeonnier toujours en place aujourd'hui et d'une tour d'angle également présente.
Au XVIème siècle
Ce petit château change de propriétaire et devient, avant travaux d'agrandissement, un "fief sans justice" tenu par le Seigneur Pierrebrune, écuyer. Son fils prendra la suite en 1642 sous le nom de Jacques de Pierre brune, écuyer, Seigneur de Puy Fouilloux avec son épouse Marie Du Buisson.
Au XVIIème siècle
En 1634, Isabelle de Pierrebrune, fille de Jacques et Marie est baptisée dans la chapelle du château en présence de sa famille André Du Buisson et d'Isabelle de Bron, et de son mari Louis De Villelune, sieur de la Roche-Othon. En 1675, il passe sous la propiété du Sieur Gilbert Jehanot des Pallières. Puis vers 1700, le Seigneur de Courtine Durand Villatte prendra la suite.
A partir de 1741
Le château restera dans la famille des Villatte de Peufeilhoux jusqu'en 1920. C'est Jean Antoine Villatte de Peufeilhoux qui fera construire comme "pavillon de chasse pour Peufeilhoux" le château de Frémont en 1822
Dès 1900
Abandonné plusieurs fois, oublié pour le château des Modières à Villebret et définitivement abandonné par la famille Villatte de Peufeilhoux partie vivre en Suisse, ce château commencera sa longue agonie pour devenir en partie une belle ruine romantique.
Monsieur Michel Machart l'achète en 1920 pour le restaurer. Il comprend alors prés de 650 hectares de terre et une dizaine de fermes.
Sous la direction du plus grand architecte de l'époque, Monsieur Sappin des Raynaud, une trentaine d'ouvriers travaillèrent pendant un peu plus de 7 années.
La fille de M. et Mme Machard épousa le Baron de la Rochette, un grand train de vie perdura jusqu'en 1983. Après le décès des propriétaires, les meubles, tapisseries et toutes les collections furent vendues à Drouot et c'est le Crédit Agricole qui acheta tous les terrains pour revendre le château avec une ferme de 20 hectares à M. et Mme Burstall, héritière d'une grand banque anglaise.
le château est acheté ensuite par un Belge qui le revendra 2 ans plus tard à une Hollandaise qui le conservera 10 ans. L'actuel propriétaire M. Claude Thévenin le rachète en 2013.
