Tijdens de bezetting in 1940-1945 hebben verschillende mensen ondergedoken gezeten op het zomerhuisje (bij de familie bekend als het Keetje, bij anderen ook wel als het Theehuis van Ter Horst).

Familie Nijhuis
Dina Nijhuis is de weduwe van Piet Nijhuis, die als jongen met het hele gezin enige tijd in het Keetje heeft gewoond. Zij vertelde in 2013 het volgende verhaal aan Wytze Schouten over het verblijf van haar man, toen nog een jongen, met zijn gezin in het Keetje. 

Het gezin Nijhuis woonde in de stad Rijssen, maar de woning raakte aan het begin van de oorlog beschadigd door een bombardement. Piets vader, Jan Nijhuis, werkte bij Ter Horst & Co als boekhouder. Zijn zuster Dika heeft aan de familie Ter Horst gevraagd ofhetn gezin voorlopig in het Keetje mocht wonen. Dat mocht.

Het gezin (vader Jan, moeder Willemke en hun kinderen Piet, Janny, Berend en Dik, plus hun oom Hendrik, die in moderne bewoordinge zwakbegaafd was) heeft lange tijd in het Keetje gewoond. Aanvankelijk was er geen sprake van onderduik. Er werden door de Duitsers echter wel razzia's gehouden om mannen te werk te stellen in Duitsland. Tijdens een van deze razzia's werd ook het Keetje bezocht: de inspectie was echter niet grondig, want vader Jan en zoon Piet hebben zich verborgen gehouden in de kelder en zijn niet opgepakt.

Later is naast het gezin Nijhuis ook ene Gerrit Smit in het Keetje komen wonen: hij kwam uit het westen, zijn onderduik werd geregeld door de Rijssense huisarts Oosthoek; onduidelijk is om welke reden hij ondergedoken was.