n 1380 werd door Mechteld van Gelre, hertoginweduwe van Kleef, het huis Babberich, ook Halsaf genaamd, overgedragen aan Ernst Momm. Het moet het riddergoed onder Zevenaar zijn, dat door Mechteld's echtgenoot in 1363 als leen gegeven werd aan Hendrick Momme, vader van Ernst. De beide heren Momm zijn de oudst bekende eigenaren en het is onbekend, wie er vóór hen hebben gewoond. Het geslacht Babberich, dat in de vijftiende eeuw voorkomt, ontleende vermoedelijk de naam aan het Hof te Babberich, later in het bezit van de Van Camphuysen's.
De Momm's komen tot 1569 voor op het goed, dan verschijnt het geslacht Van Zeller, dat in de Tachtigjarige Oorlog meemaakt dat het huis door Prins Maurits als blokhuis in diens defensielinie tegen de Spanjaarden gebruikt wordt. Het huis zal nogal wat schade opgelopen hebben en Reiner van Zeller moet het huis het laatgotische uiterlijk gegeven hebben dat een prent uit 1745 ons toont.
Door vererving gaat Babberich omstreeks 1650 over op de familie Foppinga, die met de lusten ook een grote hoeveelheid lasten meekrijgt. Gijsberta Anna van Zeller, weduwe Foppinga, moest delen met Aleida Maria van Zeller, echtgenote van Diederick van Hoevelick, alsmede met de kinderen, gelijk acten van 1667 en 1670 aantonen.
Uiteindelijk werd Babberich verkocht aan Diederick van Hoevelick, die het liet vererven op zijn zoon Gijsbert. Die trouwde vrij laat met de veel jongere Eva Maria van Lombeck en zij kregen in 1704 een dochter Johanna Lucretia Catharina. De familie, die zich een erfenis zag ontgaan, vocht met alle middelen het huwelijk aan en omdat Gijsbert geestelijk onvolwaardig was, werd gepoogd om hem incompetent te laten verklaren. Zijn dochter was kennelijk een goede partij, want een graaf Van Berlo slaagde er bijna in, haar te schaken, maar uiteindelijk trad zij in het huwelijk met een baron Van Rohe. Vanaf 1731 waren zij eigenaar.
Ook zij slaagden er niet in om de moeilijkheden te overwinnen en de steeds hogere schuldenberg noodzaakte hen om Halsaf in 1759 van de hand te doen.
"Geheimrat" van Diest, de volgende eigenaar, liet het goed met de schulden na en zijn erven konden het onderling niet eens worden, noch zich de talrijke schuldeisers van het lijf houden en het geheel eindigde met een gerechtelijke beslaglegging en een publieke verkoop in 1784.
Ver beneden de geschatte verkoopprijs van fl. 27000,- werd Babberich gekocht door Palick Jurriaan van Heerde van Camphuysen, die optrad als stroman voor Johan Philip de Nerée, die vanaf 1785 de werkelijke eigenaar was. Het huis met bijbehorende landgoed behoorde tot 1999 toe aan de familie De Nerée tot Babberich. Wie de huidige eigenaar is is ons onbekend.
Het huis zal mede door de vele schulden van de diverse eigenaren in een slechte staat van onderhoud verkeerd hebben. Johan Philip de Nerée verbouwde het tot het huidige huis.Rechts van het huis werd omstreeks 1850 een duiventoren gebouwd van baksteen en afgewerkt met een witte pleisterlaag. De duiventoren is in twee verdiepingen verdeeld: de benedenverdieping is geleed door rondboegen en hoekpilasters. In één van de rondbogen bevindt zich een deur: hier was oorspronkelijk een deur. De bekroning van het torentje van het huis en het dak van de duiventoren worden gevormd door het wapen van de familie De Nerée tot Babberich, een meerman die een sabel met een vergulde kling boven zijn hoofd houdt.
Het huis te Babberich is meer bekend onder de naam Halsaf en deze naam zou ontleend zijn aan een legende: een dienstmaagd die op het huis moest passen, merkte op een avond dat er ongewenste bezoekers door een opening in de muur probeerden binnen te dringen. Zij stelde zich met een zwaard op naast deze opening en maakte achter elkaar zes rovers een kopje kleiner. De zevende rover vluchtte. Later werd de dienstmaagd uitgenodigd door een schone jongeling voor een rit per koets over de heide van Babberich. Tijdens een windvlaag verloor deze jongen zijn pruik, waardoor de dienstmaagd hem als de rover herkende en hem voor de wielen van de koets gooide. Nog steeds verhaalt de volksmond dat de meid van Halsaf waakt over de bewoners en de bezittingen van het kasteel.