Le château date du XIVème siècle. Il est bien différent de celui que l’on connaît actuellement. De style médiéval au départ, il prit un air « renaissance » par la suite.
Le domaine de Chantilly passe ensuite entre les mains du Grand Condé, il subit quelques aménagements et ne cesse d’en subir, notamment au XVIIIème siècle par Henri-Louis de Bourbon.
Un parc attenant au château abritait une prison durant quelques temps (1730-1770). Anne de Montmorency entreprend également des travaux.