In 1190 is sprake van een Nicolaas de Vorste, maar de eerste met zekerheid bekende eigenaar treffen we pas in 1378 aan in de persoon van Gerard ter Voirst, wiens nageslacht tot 1561 op het goed zal zetelen. De erfdochter Aleijt van der Voorst brengt door haar huwelijk omstreeks 1565 met Derck van Keppel De Voorst in zijn geslacht. ook deze Van Keppel's mogen niet gerekend worden tot de meest gefortuneerde adellijke families van deze streek, hetgeen blijkt uit het feit dat het echtpaar zijn intrek nam op De Voorst en niet op de aan Derck toebehorende havezathe Woolbeek bij Laren.
Voorlopig blijft alles bij het oude en de bewoners van De Voorst leiden een rustig leven. Dat zal veranderen met Oswald, in 1660 gehuwd met Reiniera Anna Geertruid van Lintelo, die in 1657 met het goed beleend was. Oswald zou - indien hij thans zou leven - regelmatig de voorpagina van de plaatselijke pers gehaald hebben. Geweldpleging tegen de buren, schulden, belastingontduiking, openbare dronkenschap, dat alles is over hem bekend, maar het meest opzienbarende feit was wel dat hij in 1668 bij Coenraad van Linden alles kort en klein sloeg en diens vrouw een blauw oog en een bloedneus bezorgde. Ondanks deze weinig fraaie reputatie slaagt hij er niettemin in, zijn oudste zoon een plaats als page aan het Stadhouderlijk Hof te bezorgen. Dat is de in 1670 geboren Arnold Joost, die in 1686 De Voorst zal erven.
Die wordt één van de gunstelingen van stadhouder Willem III, een positie die hij moet delen met Hans Willem Bentinck en Godard van Reede, maar die hij op den duur zal voorbijstreven. Wanneer Willem III in 1688 koning van Engeland wordt, stijgt de ster van Arnold Joost onmetelijk hoog. Zijn Koninklijke beschermer overlaadde hem met gunsten; hij werd generaal en kamerheer, lid van het Hogerhuis en ontving titels baron van Ashford, markgraaf van Bury en graaf van Albemarle. Op zijn vaderlijk erfgoed werd het huidige paleis gebouwd, dat grotendeels door Willem III werd bekostigd en dat circa 1700 gereed kwam, getuige de Orde van de Kousenband, die het wapen Keppel omkranst. Die orde werd hem in 1700 verleend.
Na de dood van zijn weduwe in 1741 gaat het bergafwaarts met het huis. Reeds vijftig jaar na de bouw werd De Voorst verkocht, waarna de geslachten Van Lynden, Bentinck en Van Neukirchen De Voorst in bezit hadden. In 1846 treedt het verval in, als een speculant de zijvleugels, het koepeldak en delen van het interieur sloopt. Herstel volgde toen in 1875 en 1910 de bijgebouwen en colonnades die deze aan het hoofdgebouw verbinden werden hersteld.
Helaas ging het rijke onvervangbare interieur geheel verloren bij een brand in 1943. In 1957 werd het door de toenmalige eigenaar, het Pensioenfonds van de Nederlandsche Heidemaatschappij, overgedragen aan de Stichting Vrienden der Geldersch Kasteelen. De restauratie die volgde werd voltooid in 1960. In 1990-1998 werden de brug en twee hekken hersteld. Met name de kademuren wachten nu nog op restauratie.  

Het huidige huis dateert eind zeventiende eeuw en is gebouwd in opdracht van Arnold Joost van Keppel, onder leiding van de stadhouderlijke architect Daniël Marot en Jacob Roman. Beide heren hadden reeds samengewerkt op Het Loo. 
Het huis had met zijn rijke interieurs en indrukwekkende tuinaanleg een Franse allure, al gauw het de naam "Versailles van de Achterhoek".