Pärast lossi valmimist hakkas Glehn selle juurde parki rajama. Plaani tegi ta taas ise ning jälle rügas ta selle elluviimiseks hommikust õhtuni. Parki otse lossi ette mattis Glehn oma sõiduhobuse ja püstitas hauale graniidist obeliski. Parki istutas ta puid-põõsaid, rajas alleed ja kõrvalteed. Teede äärde pani ta hulga suuri raudkive, mille üks külg siledaks lihvitud, heleda õlivärviga kaetud ning sellel tumeda värviga looduskaitseteemaline või lausa isamaaline salm. Näiteks: „Kes murdis siin oksa, mine tea, oli see koer või tainapea”. Ühe puuoksa murdmine võis tähendada keretäit Glehnilt endalt, seda said tunda nii mõnedki Nõmme üleannetud poisid.

Saksamaalt tõi Glehn eksootilisi külmakartlikke taimi, mille kasvatamiseks rajas aastatel 1898 – 1900 kasvuhoone ehk nn palmimaja. See oli põhja poolt mullaga kaetud, lõuna poolt aga raudkivikildudest sõrestikuga, kuhu olid paigutatud klaasruudud. Kaasaegsete mälestustele tuginedes oli selle keskel kaks tiiki, kust purskas vesi ja mis olid palistatud roheliste taimedega. Palmimaja sees, seina ja sammaste vahel, ringlesid teed, mis tõusid kuni värvilistest klaasidest valmistatud katuseni. Lisaks võlvidega ukseavad, salapäraste keerdudega käigud ja osalt pealt kaetud, osalt lahtised rõdud, tugipostid, mille ümber põimusid väänkasvud, karu kuju kõrgel seinal. Kivikildudest kokkuliidetud kastides olid tundmatud, mõneti üsna imeliku väljanägemisega taimed. Raudkividega olid ümbritsetud ka tillukesed tiigid ja basseinid.

Palmimaja arhitektuuri on võrreldud samal ajal Barcelonas tegutsenud arhitekti Antonio Gaudi projekteeritud krüptiga Güelli pargis. Kokkulangevus on ilmselt juhuslik, kuid mitte ainult … üks ajastu, üks stiil ja kaks mõttemaailmalt sarnast meest, kelle mõlema looming eeldab vaatajalt „tugevat seedimist”.