L’histoire du Quesnay remonte au XIVe siècle. En effet, la présence d’un manoir est attestée dès 1393 alors que Saint-Saëns est un prieuré rattaché à l’abbaye de Saint-Wandrille. Ce prieuré est vendu en 1576 à Georges de Limoges. Le manoir existant est détruit en 1592 par les troupes du duc de Parme alors que Georges de Limoges participe au siège de Rouen aux côtés du roi Henri IV. Son fils Gabriel reconstruit le manoir en 1600. En 1739, la famille de Limoges revend le manoir et la seigneurie de Saint-Saëns à Pierre Hély, propriétaire d’une verrerie à Lihut et fils d’un émigré jacobite irlandais. A cette époque, Pierre Hély d’Oissel, son fils Abdon Victor et son petit-fils Abdon Patrocle Frédéric n’habitent pas au Quesnay, préférant leur château à Oissel ou leurs résidences parisiennes. Le manoir sert alors à la gestion de la seigneurie. Ce n’est qu’en 1853 que le manoir devient un lieu de villégiature lorsque Arthur Hély d’Oissel, le plus jeune fils d’Abdon Patrocle, hérite du domaine...