In 1327 draagt Arnt van Puderoyen de burcht en de hoge heerlijkheid op aan de graaf van Gelre, die het in 1347 in leen geeft aan Arnt van Herlaer. Verschillende telgen uit de geslachten van Van Hemert en Van Rossem bezaten Poederoijen. Om de lijst compleet te maken noemen we nog de namen Appeltern, Milander, Wijderholt, Kirckpatrick, Melander, Chenel, Swaen, Jan Elias Rom, Daniël Cornelis Viruly (1840) en Egter van Wissekerke. Enkele tastbare bewijzen herinneren ons nog aan de tijd van de heren. Onder de kerkvloer, beschermd door een laag zand ligt de grafzerk van Steven van Rossem. In de kerk staat de zerk van Johan Kirckpatrick en in de voorgevel van de voormalige pastorie prijkt een gevel­steen met de naam van M.J.E. Viruly. Ook enkele straatnamen getuigen van deze tijd: de Maarten van Rossumweg en de Egter van Wissekerkeweg.
Dat er veel gevochten is rondom het kasteel Poederoijen is bekend; een bewijs dat dit stukje Bommelerwaard van belang is voor de regionale en de nationale geschiedenis. Het kasteel heeft vanaf de stichting, waarschijnlijk reeds rond het jaar 1000 vele “gezichten” gekend. Na verwoesting of afbraak werd het weer hersteld, nooit meer in de oude vorm zoals het oorspronkelijk werd gebouwd
In 1493 werd in opdracht van Hertog Karel door Gerard van Weerdenburg het kasteel ingenomen en werd het slot leeggeroofd. In 1505 werd Poederoijen veroverd door de Bourgondiërs, spoedig daarna door Hertog Karel weer heroverd. In de strijd tussen Brabant (de Bourgondiërs) Holland en Gelderland speelde het kasteel Poederoijen met zijn strategische ligging een belangrijke rol. Uit deze periode stammen ook de verhalen van de strooptochten van de zwarte bende. In 1518 werd de heerlijkheid Poederoijen weer beleend door hertog Karel van Gelderland. Maarten van Rossum werd de nieuwe heer van Poederoijen. Dank zij deze ‘leen’ heeft Maarten in de loop der jaren macht en aanzien gekregen. Hij liet het kasteel herstellen echter al in 1528 werd het door een groep ruiters uit Den Bosch met behulp van buskruit verwoest en in brand gestoken. Het kasteel is daarna door Maarten van Rossum weer hersteld. Naast dit kasteel hebben nog lang de resten van de middeleeuwse burcht gestaan. Helaas is uiteindelijk dit kasteel in 1672 in de Franse oorlog verwoest.
Uit een geschiedenisboek gedrukt in 1741 onder de titel “tegenwoordige staat de Verenigde Nederlanden” citeren we het volgende: Een half uur gaans beneden Aalst aan den Maaskant, legt Poederoyen, een dorp en heerlykheid, in de Geldersche geschiedenissen inzonderheid vermaard, om het pragtig en sterk slot, dat ‘er by gebouwd was, en in verscheidene oorlogen veel geleeden hebbende eindelyk, in’t jaar 1672, op dat ‘er de Franschen niet in nestelen zouden, t’eenenmaal verwoest geworden is. Het was gebouwd op de grondslagen van een ouder huis, dat door Keizer Maximiliaan bemagtigd zynde, al in den jaare 1508 afgebroken werdt. Zy, die dit slot Castrum Puerorum of Kinderen Slot genoemd, en gewild hebben, dat het, ter gedagntenisse der vreemde geboorte van driehonderd vyf en zestig kinderen, door Margreet of Magteld, Graavinne van Hennenberg, t’eener dragt voortgebragt, gestigt zy, bouwen eene beuzelagtige naamreden op een nog beuzelagtiger verdigtsel. Sedert eenige jaren is hier een nieuw huis getimmert; ‘t welk egter in aanzien by het oude niet haalen kan.”
Van het kasteel “Poederoijen”zijn in 1999 en 2000 bij dijkverzwaringswerkzaamheden fundamenten van het oude kasteel terug gevonden.
Men had toegezegd er een informatiebord te plaatsen waar eens het machtige kasteel Poederoyen stond, tot op heden rijdt u er misschien wel overheen zonder dat u het weet.....