Som eldste sønn i en gammel kjøpmannsslekt var S.-H. bestemt til å overta familiefirmaet, men overlot det til sin yngre bror og reiste 16 år gammel til kunstakademiet i København S.-H. likte seg ikke der, og etter vel et år drog han videre til Düsseldorf. Hans interesse for folkelivsmaleri var blitt vakt i København og hans lærer ved kunstakademiet i Düsseldorf ble den ledende folkelivsmaler Benjamin Vautier, kjent for sine omhyggelig utførte gråskimrende bilder av figurer i interiører. Preget av denne lærer og av den folkelivstradisjonen Adolph Tidemand hadde grunnlagt i Norge, kom S.-H. snart fram til et særpreg som han i hovedtrekk holdt fast ved gjennom hele livet. Gjennom en mest mulig eksakt, detaljert gjengivelse skildret han norsk bondeliv så sannferdig og naturtro som mulig. Fargene er gjerne holdt i en kjølig gråbrun eller gråblå tone, uten sterke lokalfarger; penselstrøkene er så fint utpenslet at de knapt kunne skilles fra hverandre. Han valgte fortrinnsvis figurmotiver med bønder og seterjenter i interiører, ofte fremstilles bare en enkelt person i ensom kontemplasjon, som Rypeskytter (1864), eller to-tre personer opptatt av hverdagslige gjøremål, som Et sæterbesøg (1866, Nationalmuseum, Stockholm). Der personene er malt utendørs, stenger gjerne tømmervegger og åsrygger for utsikten slik at naturen fremtrer som et lukket rom, f.eks. i Den forskudte (1865, Stavanger Faste Galleri) og Laksefisker (1865).
Under sitt tre år lange opphold i Paris ble S.-H. sterkt opptatt av Ernest Meissoniers og Paul Delaroche' ytterst presise og detaljrike historiske genremaleri, og han perfeksjonerte sin egen teknikk i samme retning. Samtidig konsentrerte han seg mer om de psykologiske aspekter ved sin menneskeskildring. Influert av den franske realismens krav om sanndruhet og ærlighet i gjengivelsen av motivene, følte S.-H. det etter hvert utilfredsstillende å sitte i Paris og male norske folkelivsmotiver. I 1869 flyttet han til Christiania hvor han ønsket å bosette seg fast, men miljøet i hjemlandet føltes snart for snevert, og alt i 1871 flyttet S.-H. til Stockholm. Tradisjonen forteller at han ble ansatt hos den kunstinteresserte Kong Carl 15, som døde året etter. I Stockholm utførte S.-H. noen av sine ypperste arbeider. Han konsentrerte seg om motiver som skildret mennesker i følelsesmessige konfliktsituasjoner og i situasjoner der mennesket konfronteres maktesløs overfor skjebnen. Intimt og lavmælt, men samtidig psykologisk dyptgripende skildres angst og skyld, anger og soning, sorg og død, med en nesten fotografisk realisme. I pakt med Düsseldorfskolen var motivene ofte noe moraliserende, men aldri sosialkritiske. Nesten uten unntak hentet han motivene fra bondestanden. Hovedverk i denne kategorien er Hjemsøgelsen (1873, Nationalmuseum, Stockholm), I lensmandsarresten (1875, Nasjonalgalleriet, Oslo), Konfrontationen (1878, Nationalmuseum, Stockholm) og En forherdet (1896) som ble malt i København. I 1882 gikk S.-H.s familiefirma i Stavanger konkurs, og han var ikke lenger økonomisk uavhengig. Han flyttet fra Stavanger der han hadde vanket i de høyeste sosiale lag og slo seg ned utenfor København der hans hjem ble samlingspunkt for mange norske og danske kunstnere. Forfatteren Holger Drachmann hørte til kretsen og hans roman Forskrevet bygger angivelig på dette miljøet. Antagelig fordi S.-H. nå var avhengig av å selge bildene sine, malte han en rekke motiver fra de mer idylliske og humoristiske sider av folkelivet, som Bondejente spiller trekkspill (1884, Lillehammer Bys malerisamling). Han gav imidlertid ikke slipp på de alvorsfylte motivene, og i 1890 malte han En begravelse ombord (Nasjonalgalleriet), bildet han selv holdt for sitt hovedverk. Det fikk 2. gullmedalje i München 1891 og Drachmann skrev et dikt om det. S.-H.s teknikk medførte at han brukte svært lang tid på hvert bilde. For å minske utgiftene til modeller, begynte han i København å fotografere motivene og deretter male direkte etter fotografiene. Mye tyder på at han også kan ha utviklet en teknikk med å overføre fotografiet direkte til lerretet, men fremgangsmåten er ikke kjent. I 1889 ble S.-H. dansk statsborger og hadde trolig tenkt å bli boende i Danmark. Dårlig økonomi tvang ham til å redusere sine levekostnader, og i 1896 bosatte han seg i Valle i Setesdal der han var omgitt av sine kjære motiver. En fotografisk realisme karakteriserte fortsatt hans arbeider, f.eks. Setesdalsgutt (1904, Stavanger Faste Galleri). Grensene mellom illusjon og virkelighet er her søkt utslettet som i de gamle trompe d'oeil-teknikker.
S.-H. ble den siste betydelige representant for tradisjonen fra Tidemand, samtidig som han var knyttet til samtidens realisme. Hans realisme var likevel av en annen karakter enn den som ønsket å fange sollysets spill eller atmosfæriske virkninger ved hjelp av hurtige, brede penselstrøk.
