I 1928 ble Olavs far erklært konk, etter han hadde skrevet under som garantist for sin bror og svigerbror. De hadde lånt penger for å spekulere i aksjer, og hadde mistet alt de eide. Banken ville ha pengene sine, og Olavs far måtte selge gården sin. Familien flyttet til Ambjørnrød, et småbruk som kommunen eide i utkanten av bygda, og der ble de forpaktere.
[[Fil:042.003.103.jpg|200px|mini|Anton E Hallenstvedt foran Hallenstvedt gård, ca. 1925.]]
Olav begynte å se mer til Magnhild, og snart hadde de fast følge.
Holt[[Fil:042.003.104.jpg|200px|mini|olt, ca 1923: Arne, Åshild, Kristoffer Skjelland som holder datteren Anbjørg, Mina og Minaog tjenestejenten Olau (eller Petra) fra Mo-i-Rana. Magnhild står foran Åshild.]]
I 1934 solgte Andebu kommune Ambjørnrød til Odd Gleditsch, en forretningsmann fra Sandefjord, og Hallenstvedt-familien hadde en ny grunneier. Olav og den nye eieren ble gode venner, og Odd Gleditsch kjente mange i Sandefjord. Han hjalp således Olav til å få jobb på et av kokeriene til Anders Jahre.