Pour stopper l'invasion normande, le roi de France fit construire des châteaux-forts, tel celui qui fut construit en 825 sur la plus longue des deux îles de l'Oise à l'emplacement actuel de la ville de L'Isle-Adam, près du village de Nogent et qui est mentionné sur un acte de 1069 comme situé à proximité d'un prieuré.

Ce château fut confié au Seigneur Adam. La châtellenie prit petit à petit le nom de L'Isle-Adam et l'île elle-même prit ce nom. Par extension, la ville qui s'est développée entre l'île et Nogent conserva le nom de L'Isle-Adam. Au Moyen Age, la seigneurie comprend les domaines de L'Isle-Adam, de Parmain et de Valmondois  Le château est reconstruit à plusieurs reprises