In 1199 wordt Reynald van Nassau als burggraaf van Sulenchem genoemd, later werd het een heerlijkheid, waarmee in 1435 Arnold van Herlaer, die gehuwd was met Aleydis Pieck, beleend werd. In 1420 is er sprake van een zekere Gijsbert Pieck. Zijn vrouw Jooste van Herlaer is eigenaresse van de heerlijkheid Zuilichem. De heerlijkheid werd door Elisabeth van Grevenbroeck, de weduwe van Joost Pieck in 1630 verkocht aan Constantijn Huygens I. In 1688 gaat de heerlijkheid Zuilichem over in handen van Constantijn II, daarna van Constatijn IV, een neef van de laatstgenoemde. Daarna is Zuilichem nog in het bezit geweest van zijn weduwe, Philippine Doublet, hun dochter Suzanne Louisa, die met jonkheer Willem, baron van Wassenaar huwde, verkoopt het uiteindelijk in 1753 aan Johan D. Boellaard, en in 1819 zijn de bezittingen overgegaan op naam van Mr. Maurits Jacob Eyck van Zuilichem.
In 1543 wordt het kasteel door troepen van Karel V verwoest. Volgens een tekening uit 1656 lag tussen het kasteel en de dijk zelfs nog een huis en een hof. Een plattegrond uit 1722 laat zien dat het slot toen reeds met één punt in de Waaldijk stond. De rivier kwam steeds dichterbij, daardoor moest de dijk steeds teruggelegd woorden, op een Leidse tekening is te zien dat ten behoeve van de rijtuigen op de weg een stuk van de muur is weggehaald. het kasteel verviel meer en meer en dreigde in te storten.
In 1764 laat de toenmalige eigenaar J.D. Boellaard het hoofdgebouw volledig afbreken omdat eerder al, in 1690 door het verleggen van de dijk stukken verloren waren gegaan. Mr. M.J.Eyck koopt het complex in 1819 en liet de laatste resten slopen en bouwde op de voorburcht een huis, welke zijn zoon later weer afbrak. Na de tweede wereldoorlog zijn binnendijks nog resten van fundamenten weggegraven.
Begin mei 1996 werd door dijkverzwaringswerkzaamheden de hoek van het woongedeelte van het kasteel weer ontdekt. Door oplettendheid en actie van enkele dijkbewoners werd het graven stilgelegd en allerlei instanties gewaarschuwd. De restanten werden buitendijks enige tijd later tot de fundamen­ten ontgra­ven, gefotografeerd en opgemeten door het R.O.B. De hoek van het kasteel verdween vijf maanden later onder de nieuwe dijk die richting rivier verlegd werd. De oude dijk zou worden afgegraven en aan de binnenzijde van de nieuwe dijk zou een schuin talud gemaakt worden. Toen was de tijd rijp om de resterende muurresten van het gedeelte onder de dijk te onderzoeken.
Verschillende meters van het hoofdgebouw zijn op woensdag 16 oktober 1996 blootgelegd, Op 17 oktober is door het R.O.B. alles nauwkeurig opgemeten en gefotografeerd. Op de plaats van de gevonden muurresten zijn enkele meters boven de oorspronkelijke muren weer stukken muur nagemetseld. De ANWB heeft bij de plaats een informatiebord geplaatst.

Opgravingen van het kasteel in Zuilichem
Op woensdag 16 oktober 1997 waren de werkgroepleden van de historische werkgroep "Stichting De Vier Heerlijkheden" uitgenodigd om aanwezig te zijn bij de ontgraving van enkele muurresten van het voormalig kasteel Zuilichem.
Namens het Polderdistrict Groot Maas en Waal had Heidemij advies voor dit tweede onderzoek de deskundigheid van het ROB, het Rijksoudheidkundig Bodemonderzoek uit Amersfoort ingeschakeld om het graafwerk te coördineren.
Begin mei van het jaar 1997 jaar werd door dijkverzwaringswerkzaamheden de hoek van het woongedeelte van het kasteel van Zuilichem al ontdekt. Uit de dijkhelling buitendijks staken plotseling enkele muurfragmenten, door oplettendheid en actie van enkele dijkbewoners werd het graven stilgelegd en allerlei instanties gewaarschuwd. De restanten werden enige tijd later tot de fundamenten ontgraven, gefotografeerd en opgemeten door het R.O.B. De hoek van het kasteel verdween enige tijd later onder de nieuwe dijk.
Vijf maanden na de ontdekking van de hoek aan de buitenzijde van de oude dijk werd de nieuwe dijk richting rivier verlegd, en werd de oude dijk afgegraven, aan de binnenzijde van de nieuwe dijk maakte men een schuin talud.
Toen was de tijd rijp om de resterende muurresten van het gedeelte onder de dijk te onderzoeken.
Verschillende meters van het hoofdgebouw zijn op die bewuste woensdag blootgelegd. Op donderdag 17 oktober is door het ROB alles nauwkeurig opgemeten en gefotografeerd.
Omdat het kasteel door zijn bewoners - o.a. Constantijn Huygens- van grote cultuurhistorische waarde is, zijn de resten van het kasteel in Zuilichem gevisualiseerd. Enkele meters boven de oorspronkelijke muurresten is het geheel nagebouwd. Door de A.N.W.B. is een informatiebord geplaatst en zijn er banken neergezet.