H. oppholdt seg i utlandet fra 1867 til han i 1915 vendte hjem, 72 år gammel. Ved hjemkomsten ble hans merkelige livshistorie slått stort opp i avisene: Han hadde sittet i alt 34 år i fengsel for tyveri. Før konfirmasjonsalderen i 1858 hadde han allerede hatt 5 domsfellelser. I 1860 kom han på Botsfengslet. Han har tydeligvis hatt et visst kunstnerisk talent, for Eckersberg fattet interesse for ham og opptok ham som frielev da han kom ut fra fengslet. Det var bare Eckersberg selv som kjente hans fortid, og ifølge en medelev hendte det at tuber og pensler forsvant, bl.a. fra Philip Barlags malerkasse. Større tyverier sendte H. i Botsfengslet igjen i 1862. I cellen malte han og dekorerte også ovnsskjermer og forskjellige husgeråd, som ble solgt på fengslets utsalg sammen med en del av maleriene hans. Bl.a. nevnes som motiv et av fengslets hus som brenner om natten. Etter dette fengselsoppholdet tok Eckersberg seg igjen av ham i håp om å redde ham fra videre eskapader og hjelpe ham som kunstner. Han hjalp ham også med penger. Men miljøet i Christiania ble til slutt for trangt for H., og han drog først til København og derfra videre på kontinentet. Etter hvert bygde han seg opp en solid karrière som hotell- og gentlemanstyv.
Oslo bymuseum har en lavering, en akvarell og et tusjarbeide av H., og Cappelens samling, Oslo kommunes kunstsamlinger har to arbeider. Alle disse er malt etter H.s hjemkomst til Christiania. Motivene er bymotiver fra Christiania, bl.a. et fra Toftes Gave, fra før 1867 og er antagelig malt etter hukommelsen eller etter forlegg. H. har ganske sikkert malt en del også i årene 1867–1915. Eventuelle arbeider vil imidlertid bli vanskelig å oppspore, fordi man vet at han ofte brukte falske navn, som Holm, von Holm o.l.
