S. vokste opp i New York hvor faren arbeidet som ingeniør, og der fikk han også sin første tegneundervisning ved Cooper Institute. Faren døde da S. var 17 år gammel, og familien flyttet tilbake til Norge. Moren tilhørte en slekt med et rikt innslag av kunstnere. Blant hennes søstre var pianisten Erika Lie Nissen og Thomasine Lie, gift med sin fetter, forfatteren Jonas Lie. S begynte på Bergsliens malerskole i Kristiania og der traff han bl.a. Fredrik Kolstø, som han sluttet et nært vennskap med. I Berlin studerte han i 1878 under Gussow. S.' studieopphold i Berlin og München ble begge av meget kort varighet, pga. dårlig økonomi, et problem som plaget ham mesteparten av hans liv. S. debuterte på den første Høstutstillingen i Kristiania 1882, hvor han deltok med to mindre genrebilder. Det ene, Hos bestemor (1882), ble av en anmelder kritisert for å være for mye av et portrett, med for lite vekt på selve situasjonsskildringen, idet: "Bedstemoderen er aldeles udenfor hva der for øvrig gaar for sig i Stuen, hun sidder kun Model i Stolen". Året etter kom En gammeldags spikersmie (1883), et av de første betydelige arbeider fra hans hånd, holdt i en nokså dypstemt koloritt. Til den andre opphengingen i desember 1883 bidrog han med et maleri med motiv fra Jonas Lies "Livsslaven", et heller dystert sujett med en mann som hadde drukket seg i hjel. (Iflg. Jens Thiis ble dette bildet senere ødelagt). Temaet anslår ganske klart en dyster tone i S.' kunst, som han dyrket side om side med de mer solfylte og ukompliserte folkelivsbildene. I Tatere (1884) ligger det også en aning om noe truende og ubehagelig, noe som understrekes av den sterke lyskontrasten i bildet. Taterne, som er på vei inn gjennom døra, er fremstilt i sterkt motlys. Sollyset utenfor skinner og lyser bak gruppen som nesten helt fyller døråpningen til det mørke rommet innenfor. Denne motsetningen mellom lyset ute og mørket inne ble en formel S. skulle komme til å bruke mange ganger senere, gjerne ved at menneskene som her, er fremstilt i en døråpning. Vinteren 1884/85 leide S. atelier i Kristiania sammen med Sven Jørgensen, og arbeidet bl.a. intenst på et nytt maleri med motiv fra en av Jonas Lies bøker. Denne gang var det "Familien på Gilje", og motivet viser en mann som kikker inn gjennom vinduet til stuen hvor en kvinne er i ferd med å tenne lampen. En samtidig avisartikkel beskriver hvordan S. hadde arrangert deler av atelieret som en passende kulisse for dette opptrinnet. Som modell for mannen, Grip, hadde han skuespilleren Hammer, som i motsetning til en vanlig modell også kunne "indforlive sig selv helt i Situationen og give sin Forstaaelse Form ikke alene i Stilling, men i Ansigtsudtryk, Minespil, Stemning.". Bildet ble sendt til Verdensutstillingen i Antwerpen samme år, og beskrives som meget mørkt. S. reiste til Antwerpen og deretter til Paris sammen med Edvard Munch. Senere på året lysnet imidlertid koloritten til S. betraktelig, og i Kjerring med flatbrød (1885), antagelig malt om sommeren i Numedal, har han lagt motivet til et solfylt tun. Kona på vei over tunet med en stabel flatbrød har blitt et vakkert og ukomplisert folkelivsbilde, malt i kraftige strøk med rene, sterke farger. I 1886 malte han det bildet som senere ble regnet som hans gjennombruddsarbeid, Brudefølget drar forbi (1886). Igjen fins den særegne kontrasten mellom ute og inne. Inne i svalgangen vises bondeungene nysgjerrig tittende ut på brudefølget, som overhodet ikke er til stede i bildet. Oppmerksomheten er derfor helt knyttet til ungenes ansikter, som tydelig avspeiler noe av det spennende som skjer utenfor.
I 1887–88 hadde S. Houens legat, og dette muliggjorde en ny reise til Paris. På Verdensutstillingen i 1889 ble han hedret med en sølvmedalje, og også på andre måter ble dette et godt år for S. Mens han var i Paris malte han det praktfulle dobbeltportrettet av sin tante og onkel, Jonas Lie og hustru (1889, Nasjonalgalleriet, Oslo). Komposisjonen er utsøkt, men bildet gir likevel inntrykk av å være et øyeblikksbilde. Hun avbryter ham forsiktig, men likevel bestemt. Han på sin side, har et fraværende uttrykk som tyder på at han ikke så lett lar seg riste ut av sin tankeverden. Bildet er holdt i en grålig, lysende koloritt, som samtidig dirrer av en viss tilbaketrengt nervøsitet. Fargene er komponert slik at elementærfargene fortsatt lever sitt eget liv, og får det til å sittre og leve i det sorte, det hvite og det grå. "Iriserende" kalte Thiis denne eiendommelige koloritten i S.' bilder. Fra 1890 var S. bosatt i Norge resten av sitt liv, i Kristiania, Lillehammer og andre steder på Østlandet. Den første tiden tilbrakte han stort sett hos Erik Skoug, på hans gård sør for Lillehammer, hvor S. på en måte fungerte som den kunstinteresserte gårdbrukerens lærer i malerkunst. Etter hvert ble det en liten kunstnerkoloni på Skoug, og både Halfdan Strøm og Lars Jorde tilbrakte mye tid der. S. ble antagelig boende der et par år, og i denne tiden laget han utmerkede ting som Velkommen (1890, Nasjonalgalleriet) og portrettet av Erik Skoug (1891). I 1892 giftet S. seg med Inga Bjørnson, niese av Bjørnstjerne Bjørnson, og dette førte til nær kontakt med folket på Aulestad, som S. malte i portrettet av Bjørnstjerne Bjørnson med hustru (1897, Nasjonalgalleriet) og i Bjørnstjerne Bjørnson (1903, Bergen Billedgalleri).
Portrettbestillinger kom i det hele tatt til å utgjøre en viktig del av hans inntektsgrunnlag, og av hans mer kjente portretter kan nevnes Dr. Sopp-Olsen (1898) og Tannlege Anders Sandvig (1904). I tillegg til portrettbestillinger prøvde han også å sikre et visst økonomisk grunnlag gjennom undervisning, og drev en kort periode på midten av 1890-tallet privat malerskole. S. var aldri noen særlig produktiv maler, og flere har beskrevet hvordan hvert eneste bilde på en måte fortonte seg som en voldsom kraftanstrengelse, hvor han gav alt og kjempet seg fram til det ferdige resultat. Selv om portretter og lysere folkelivsbilder kom til å prege S.' produksjon, var heller ikke den dystre understrømmen fra illustrasjonen til "Livsslaven" på noen måte helt borte. Det kan man tydelig se av bilder som studien En vanvittig (1894) og ikke minst i Barnemordersken (1895, Nasjonalgalleriet). I dette siste bildet bæres, som i mange andre bilder av S., beretningen til dels av hovedpersonens mimikk. Koloritten er like tung og skjebnesvanger som motivet selv. Bildet vakte berettiget oppsikt, og S. brukte det som trekkplaster i annonseringen av sin første separatutstilling like oppunder jul 1895. S.' produksjon etter århundreskiftet består stort sett av portretter og landskap, hvorav få synes å komme opp mot hans arbeider fra tidligere år. De siste år av sitt liv var han dessuten sterkt svekket av sykdom.
