Huize Zelle vormt het middelpunt van het 350 hectare omvattende Landgoed Zelle. In 1838 wordt het landgoed gekocht door een lid van het oude, Oost-Nederlandse, adellijke geslacht Van Dorth tot Medler. Hoogstwaarschijnlijk is het huidige huis gebouwd in 1792, mogelijk met oudere delen. Kort na de aankoop van de Van Dorth's werd de voorkant met een verdieping verhoogd en kreeg het een voorgevel in neoclassistische stijl. De bijgebouwen werden gebouwd in 1787 en 1790.Deze voerde een ingrijpende verbouwing uit, waardoor het huis zijn huidige vorm kreeg.

De inkomsten voor het landgoed werden altijd verkregen door exploitatie van bos, het verpachten van boerderijen en uit de exploitatie van een eigen gemengd bedrijf. Rond Huize Zelle zijn nog steeds de voormalige varkensstal, de koeienstal en de paardenstal te vinden. Als personeel waren er dagloners werkzaam, wonend in zogenaamde dagloners woningen. Dit waren kleine boerderijtjes, zodat de dagloners hun inkomen konden aanvullen met de opbrengst uit hun eigen bedrijfje. Immers geen werk op het landgoed, betekende geen loon! Door de toenemende mechanisatie in de jaren '50- '60 vloeide al het personeel af en werd het gemengde bedrijf omgezet in een akkerbouwbedrijf. De vrijgekomen daglonerwoningen werden verbouwd tot vakantiewoningen, evenals de voormalige boswachterwoning. Een meertje in het bos werd omgevormd tot een prachtig natuurbad voor de gasten.

Door de sterk teruglopende inkomsten uit de akkerbouw in de jaren '80 werd besloten een deel van de landbouwgronden te gebruiken voor de aanleg van een golfbaan. Zo kon in 1996 Golfclub 't Zelle geopend worden.