Au XVe siècle, il y a à Sceaux un manoir : en 1470, le seigneur de Sceaux, Jean II Baillet (1400-1477), maître des requêtes ordinaires de l'hôtel du roi, y reçoit le roi Louis XI et la reine Charlotte de Savoie avec toute la Cour. Il avait réuni les trois fiefs formant la seigneurie de Sceaux : Ceaux-le-Petit, l'Enffermerie de Saint-Germain-des-Près et Ceaux-le-Grand. Cette dernière terre lui venant de son père, Pierre Baillet, premier seigneur de Sceaux, qui l'avait achetée à Alix de Vaubouillon. La seigneurie resta dans cette famille jusqu'à la fin du XVIe siècle, échouant finalement à trois sœurs Baillet : Renée, Isabeau et Charlotte, qui, en indivision, laissèrent le domaine à vau-l'eau. Louis Potier de Gesvres, époux de Charlotte, baron de Gesvres et conseiller du roi, racheta le domaine en 1597. La propriété couvrait 119 arpents (environ 50 hectares). Il avait acheté en 1595 la seigneurie de Blérancourt. Son frère, Nicolas III Potier, avait épousé une autre des filles, Isabeau.
Au début du XVIIe siècle, les Potier de Gesvres, seigneurs de Sceaux depuis 1597, font construire un château de style Henri IV ou Louis XIII. C'est une famille de bourgeois qui finiront par devenir ducs : ducs de Tresmes et ensuite ducs de Gesvres. Sceaux est érigée en châtellenie en 1612 et en baronnie en 1619-1624 pour le fils cadet de Louis, Antoine Potier de Sceaux, greffier des ordres du Roi.
En 1670, Jean-Baptiste Colbert, contrôleur général des finances de Louis XIV, qui souhaite disposer d'un domaine près de Paris et non loin de Versailles, pour y établir sa maison de campagne, achète la terre de Sceaux aux trois héritiers de René Potier, marquis de Gesvres, duc de Tresmes. Il procède à d'importantes acquisitions foncières afin d'agrandir le domaine qu'il porte à une centaine d'hectares. Colbert fait agrandir l'édifice, qui avait été bâti après 1597, et dessiner un parc à la française par André Le Nôtre, agrémenté de statues commandées auprès de célèbres sculpteurs tels Antoine Coysevox et François Girardon. L'architecte n'est pas connu, mais compte tenu de la position éminente du commanditaire – qui s'était vu confier depuis 1664 la charge de Surintendant des Bâtiments du Roi – il ne fait guère de doute qu'il devait s'agir d'un des plus grands de cette époque, peut-être Antoine Le Pautre. Des recherches récentes ont permis de retrouver le nom des deux entrepreneurs : Maurice Gabriel et Jean Girard qui construisit le corps central du château de Saint-Cloud. Claude Perrault est intervenu pour l'édification de la chapelle qui se trouvait dans l'aile sud du château.
Le château comportait un corps central flanqué de deux pavillons et, en retour d'équerre, deux longues ailes en rez-de-chaussée terminées par deux pavillons. Celui de gauche, carré à l'extérieur mais circulaire à l'intérieur et sommé d'une coupole, renfermait la chapelle, décorée par Charles Le Brun.