Het huidige kasteel werd gebouwd door Karel hertog van Gelre, die de bezittingen verwierf in 1530. Hij schijnt er een huis gebouwd te hebben met de naam Bouillon, later verbasterd tot Biljoen. Maar vijf jaar later verkocht hij huis en goederen aan zijn hofmeester Roelof van Lennep. 
Het huis kreeg zijn tegenwoordige gestalte in hoofdzaak tijdens een herbouw door de Van Spaens, bezitters sedert 1660, in het begin van de achttiende eeuw. Op het einde van de zeventiende eeuw zou het kasteel verwoest zijn door de Fransen, als Lodewijk XIV het niet als zijn hoofdkwartier had gekozen. 
Onmiddellijk na zijn terugkeer van de 'Grand Tour' in 1770 gaf Johan Frederik Willem baron van Spaen opdracht voor de herinrichting van Biljoen. De schitterende balzaal, die hij recht boven de hoofdingang liet aanbrengen, is niet alleen het meest imposante vertrek van het kasteel, het is ontegenzeglijk tevens het mooiste voorbeeld van neoclassicistische binnenhuisarchitectuur in ons land.
Het is een massief, vierkant bouwwerk, omringd door een gracht. Elk van de vier ronde hoektorens heeft een klokvormig dak, voorzien van ribben met erbovenop een decoratieve schoorsteen. De voorgevel is in de negentiende eeuw aangetast; brug en opsmuk van de gevel zijn deels uit die tijd, met uitzondering van het gebeeldhouwde wapen in het driehoekige fronton. Vóór het gebouw een stalgebouw uit de vroege negentiende eeuw, in neoclassicistische trant, met beelden in nissen. De tuin verraadt nog de achttiende eeuwse aanleg.
Na het overlijden van de laatste eigenaar, de heer J.H.W. Lüps, werd het huis door de rentmeester namens de erven te koop aangeboden. De openbare inschrijving trok veel belanghebbende, waaronder die van de Stichting Het Geldersch Landschap. In het testament van de heer Lüps is bepaald dat het kasteel en het landgoed als één geheel moet blijven, daarnaast is ook bepaald dat het kasteel privé bewoont moet blijven. Het Geldersch Landschap en Geldersche Kasteelen wil het 162 hectare grote landgoed als eenheid duurzaam in stand houden. Na enkele herstelwerkzaamheden in huis en tuin zal het huis tot september 2009 een aantal keren beperkt opengesteld worden voor publiek, daarna zal het huis weer particulier bewoont gaan worden en niet meer opengesteld worden. Het park zal wel opengesteld worden.