De grootste uitdaging bleek het gevecht met de natuur. De emigranten kochten stukken grond, die naar Belgische normen immens waren: voor elk gezin tussen de 15 en 30 hectaren maagdelijk bos aan 1,25 dollar per 40 are. Hier moesten ze een nieuw leven opbouwen. Men moest eten en drinken, maar vooral moest er gezorgd worden voor onderdak. Een enkeling had alleen een paraplu om de eerste dagen onder te schuilen! Beetje bij beetje slaagden ze echter in hun een bestaan op te bouwen in en tegen het woud. Men joeg op wild en vogels allerhande. Er werden ceders omgehakt en men bouwde hiermee hutten die bedekt werden met dakspanen en modder.
Maar het werk was zwaar. Het dichte woud, bijna ondoordringbaar, moest gerooid worden om velden van te maken. Vooral tijdens de lange wintermaanden, wachtend op het intreden van de lente, leed menigeen honger. Een zeldzame vogel of vis vormde een feestmaaltijd tussen de tanden van hen die gewoon waren om wortels en wilde uien te eten. Geen paarden, geen vee en geen verbindingswegen tussen de verschillende gehuchten met namen als: Aux premiers Belges, la Sucrerie, Rivière Rouge, Rivière des Loups, Misère, Rosière, Walhain, Brussels, Thiry Daems, Aux Flaminds, Namur en Grandlez. Een vrouw werd zelfs aangevallen door een roedel wolven op terugweg van de molen. Het was een voortdurende strijd om te overleven.
Er werden brieven naar het thuisfront gestuurd waarin men zich desondanks optimistisch uitliet over de vrijheid en het eindelijk bezitten van wat eigendom. En ja hoor, het effect hiervan liet niet lang op zich wachten. Nog meer Belgen waagden zich aan de overstap.
Ook Jean Baptiste nodigde de thuisblijvers uit. Rosalie Joniaux, zus van Jean Baptiste, was het eerste familielid dat de gok waagde samen met haar man Jean François Villers. Na de overtocht aan boord van het schip “Scotland” stapten ook zij op 3 oktober 1865 in New York voor het eerst op Amerikaanse bodem.