In de viertiende eeuw hoort men voor het eerst van de Heren van Hackfort. De bekendste Van Hackfort was Berent, veldheer van hertog Karel van Gelre, die in 1557 sterft en daarmee sterft ook het geslacht Van Hackfort uit. Zijn dochter Jacoba, gehuwd met Goossen van Raesfelt, erfde Hackfort en Baak, dat eveneens tot de boedel behoorde. Hun enige zoon stierf jong en in 1581 gaat alles naar de oudste dochter, Margaretha, die omstreeks 1601 moet zijn overleden. De zoon van haar zuster Agnes, Borchard van Westerholt erft Hackfort; diens zuster Margriet kreeg Baak, maar aangezien zij kinderloos overleed, ging dat later ook naar Borchard.
Het kasteel Hackfort lag in puin, verwoest in 1586 tijdens de Tachtigjarige Oorlog en Borchard liet dat herbouwen met gebruikmaking van veel oud muurwerk in 1598. Het verschil van muurwerk is vooral bij de linkertoren heel goed te zien. Rond deze tijd werden de torens ook van hun huidige spitsen voorzien.
De zuidwestelijke toren staat geïsoleerd, slechts door een smalle schuin op het huis staande vleugel ermee verbonden. In 1788 kwam een modernisering van het huis gereed, waarbij het oude poortgebouw en de bijgebouwen werden afgebroken en de grachten gedempt. Het kasteel veranderde in een wat stijf achttiende-eeuws landhuis, waarvan alleen de torens herinneringen aan vroeger oproepen. Sedertdien is er uitwendig weinig aan het kasteel veranderd.
Op het voorplein staat aan de noordoever van de beek de watermolen uit omstreeks 1200, die oorspronkelijk een dubbelmolen was, maar de zuidelijke is lang geleden gesloopt.

Hackfort is één van de mooiste bezittingen van de Vereniging tot Behoud van Natuurmonumenten in Nederland. Het landgoed is in 1981 nagelaten door de toen uitgestorven Nederlandsentak van de familie Van Westerholt van Hackfort. Het zo'n 730 hectare grote landgoed is een mooi voorbeeld van het kleinschalige landschap van de Achterhoek met een kasteel, een watermolen, boerderijen, een beek en bouw- en weilanden.