Le Plessis et le Châtelier, deux fiefs distincts sont réunis au XVème siècle. Cet ancien fief relève du château d’Amboise. En 1674 ce fief appartient à François de Faverolles et le château reste dans la famille jusqu’en 1759 ; Puis il est vendu à Emmanuel Peltereau (1722-1810), seigneur du Plessis-Limeray, écuyer, conseiller du roi et contrôleur ordinaire des guerres.
Le château a connu de nombreuses transformations.
En effet, aux XIXème et XXème siècles, de nombreux travaux changèrent son apparence. Le côté Ouest et la tour Louis XIII au centre furent augmentés en 1844 par Jacques Levillain, avant d’être une fois encore agrandis vers l’Est par Henri et Paul de L’Épinois en 1878 dans un style néo-renaissance. La Chapelle côté Ouest et le corps de bâtiment du XVIème siècle ont disparu dans les années 1960. Il en reste quelques vestiges au niveau de l’actuelle véranda. L’aile comportait une tour octogonale et une tour carrée. Par la suite, l’aile droite fut restaurée.
Michel Georges Micberth, écrivain pamphlétaire, le loue de 1968 à 1972. Puis M. Vogiel (artiste) y habite.