S. var eldste sønn av eidsvollsmannen Carl Peter S. og tilhørte en familie som hadde dominert Tønsbergs økonomiske og politiske liv fra tidlig på 1700-tallet. Faren hadde eslet sønnen til å bli embetsmann og sendt ham til presten Jacob A. Wille i Sande, en av tidens fremste pedagoger. Da S. ble døv i tiårsalderen som følge av skarlagensfeber, sendte Carl S. sønnen til København i 1811. Gjennom familien hadde S. mulighet til å ferdes i de øverste samfunnslag i København. Ifølge ham selv mottok han privatundervisning av de beste lærere som kunne skaffes. S. var elev i konstruksjon og arkitekturtegning av hoffbyggmester Peter Krogh Bonsach Jessen og arkitekt Peder Friis i årene omkring 1817-20. Samtidig gikk han i snekkerlære hos snekkermester Wille. S. ble utskrevet som svenn 8. september 1820 etter 3 1/+2 års læretid. Svennebrevet fra snekkerlauget i København er datert 31. januar 1822, og S. var utlært til møbelsnekker. I København hadde S. oppdrag som snekker for Nicolay Jacob Marstrand, maleren Wilhelm Marstrands far. I tiden ca. 1821-1823/24 var han privatelev hos professor C. A. Lorentzen i hans leilighet på Charlottenborg (kunstakademiet). S. spesialiserte seg innen portrettmaleri. Undervisningen han mottok skilte seg neppe vesentlig fra den regulære akademielever fikk. I 1820-årene gikk farens formue sterkt tilbake og han hadde etter hvert ikke midler til å holde S. i København Antagelig flyttet S. til Tønsberg ved årsskiftet 1823/24. Etter den tid kjenner vi bare til at han oppholdt seg i København en tid sommeren 1826.
Det tidligst kjente arbeide av S. er en kopi etter A. van Dyck datert juni 1822 (Vestfold fylkesmuseum). På Tegneskolens utstilling 1824 stilte S. ut en kopi etter et portrett av en gammel mann av Baltazar Denner. Hos Lorentzen lærte han en portrettstil med vekt på en realistisk gjengivelse av fysiognomi og en effektfull bruk av lys med sterke kontraster mellom lys og skyggepartier. Fram til ca. 1830 var hans kunst sterkt influert av lærerens. Innen familie- og bekjentskapskretsen i Tønsberg malte S. en rekke portretter før 1830. Vi kjenner bl.a. portretter av Carl Stoltenberg og Mathea Stoltenberg (Tønsberg kommune), Laurentius Foyn og Benthe Marie Foyn (Norsk Folkemuseum, gjentakelser 1839 Vestfold fylkesmuseum), Jacob Lerche (Vestfold fylkesmuseum). S. forsøkte i 20-årene å få et fotfeste som portrettmaler i Christiania, men uten å lykkes. I 1826 søkte han borgerskap som snekker. Søknaden var rettet til Tegneskolens direksjon, som ikke hadde noen myndighet i saken og søknaden ble ikke behandlet. I februar og juni 1827 stilte S. privat ut portretter i Christiania og averterte etter bestillinger. Det samme gjorde han i mars, mai og juni 1830. I 1827 kjøpte S. en større aksjepost i Valløe Saltverk, som faren var hovedaksjonær i. Etter farens død i nov. 1830 ble saltverket slått konkurs og Stoltenbergfamilien gikk fallitt. I tiden 1829-33 var Hedmark S.' viktigste virkefelt, senere vendte han stadig tilbake til trakten. Gjennom onkelen Vincent Stoltenberg Bull, prost i Vang, kom S. i kontakt med de kondisjonerte familier på Hedmark og Oppland, og disse gruppene utgjorde hans største kundekrets. Fra 1829-33 kjenner vi bl.a. portretter av prestene Vincent Stoltenberg Bull (1829, Vang kirke, replikk privat eie), Andreas Jacob Lund (omkring 1830, Drammens Museum.), Svend Aschenberg (malt i Christiania 1830, Røros kirke), Gerhard Gunerus Bergh (1831, Ringsaker kirke), Even Andersen (1832, Vang kirke), Jens Abildgaard (1833, Hobøl kirke, replikk Tomter kirke). På oppdrag av Vang menighet malte S. en altertavle for Vang kirke (1833), betalt med 150 Spd. Tavlen var plassert i kirkens prekestolalter, fjernet 1876, men oppbevart i kirken. Som forelegg til motivene har S. brukt kopperstikk. Øverste felt viser Kristi oppstandelse, og nederste felt Kristus i Getsemane. Til den tidlige produksjon hører også et portrett av Hans Michelsen, antagelig malt i Christiania 1827 (privat eie).
Fra ca. 1830 viser S.' kunst stiltrekk som røper innflytelse fra Christian Albrecht Jensen og den yngre generasjon av danske malere som var Christian Wilhelm Eckersbergs elever. Vi kjenner imidlertid ikke til at S. oppholdt seg i København omkring 1830. Stilendringene i hans kunst kan gå tilbake på inntrykk fra oppholdet i 1826, eller bygge på annenhånds kunnskap om utviklingen innen dansk maleri, gjennom hva han hadde sett av norske kunstnere som i 1820-årene var elever ved akademiet i København Formatene ble mindre, fargebruken dristigere og i stedet for kraftige lyskontraster, kommer en jevn belysning av ansiktsvolumet samtidig som hodets plastiske form fremheves. Karakteristiske eksempler er portrettene av Reinholdine Gram (1832, Nasjonalgalleriet, Oslo), Margrethe Zeier (1832, privat eie) og portrettene av Hanne og Jacob Hoffmann (1832, privat eie). Til S.' mest kjente verk hører fire portretter på Onsum i Fåberg: Sorenskriver Thomas Møinichen (1831, Nasjonalgalleriet), Ingeborg Møinichen (Nasjonalgalleriet), deres sønn Erik Røring Møinichen (1832, Nasjonalgalleriet) og datteren Margrethe Birgitte Bredal (1831 eller -32, privat eie).
Fra midten av 1830-årene inntok barneportretter en stor plass i S.' produksjon. Portrettet av Kirsten Sophie Monrad (ca. 1832-35, privat eie) er holdt i en dempet koloritt og skiller seg ikke ut malerisk fra periodens portretter av voksne. I bildet av søstrene Berthe og Johanne Debes (ca. 1834, Berg-Kragerø Museum), tok S. i bruk en treklang av sinoberrødt, smaragdgrønt og koboltblått, satt opp mot hverandre som rene farger i kraftige kontraster. Denne fargetreklangen går igjen i storparten av barneportrettene, der han gjennomgående bruker kraftigere farger enn i voksen-portrettene. I årene 1835-39 oppholdt S. seg nordafjells. I Steigen var hans bror Christian sogneprest og S. brukte Steigen som utgangspunkt for en rekke reiser i området rundt Vestfjorden. Han oppholdt seg også en tid i Tromsø. Høsten og vintrene 1836-38 bodde han i Trondheim hvor han arbeidet som tegnelærer. S.' virksomhet i Trondheim er lite kjent. Muligens kan et større antall arbeider ha gått tapt i de store bybrannene i 1841 og -42. Vi kjenner malerier av Anna Jenssen (1836, privat eie), Anna og Herman Hoë (1837, privat eie), Carl Schulz (1838, privat eie) og et stort gruppebilde av Hans Plathe med hustru og barn (privat eie). På Flakstad i Lofoten malte S. presten Fredrik Rode, hustruen Sophie med datteren Wilhelmine og et gruppebilde med fire barn (1835-36, alle Coldevin-Rosenvingske samling). Sophie Rode med datteren Wilhelmine er det første eksempel vi kjenner på mor med barn-motivet hos S. Et hovedverk blant S.' barneportretter er Laura Bull (ca. 1838, privat eie) malt i Vågan i Lofoten. Laura er malt mot en landskapsbakgrunn der bratte fjellsider hever seg opp fra en fjordbunn. Mot den ville naturen står Laura i en staselig kjole med blondekrave og pynteforkle. På hver side av piken bukter blomsterstengler seg og hun holder en bukett markblomster i hånden. Vinteren 1838-39 bodde S. i Vågå og malte bl.a. bondeføreren Ole Haagenstad (1839, Eidsvoll Minne), Sorenskriver Jens Berbom og hustru og Fogd Haakon Arnesen og hustru (1838-39, alle privat eie).
I perioden 1839-42 bodde S. i Tønsberg og Christiania, og gjorde flere fremstøt for å få offentlighetens lys rettet mot seg. Han stilte ut tre portretter i Christiania Kunstforening i mars 1839, og i mai 1839 søkte han om å bli lærer ved Døvstumme Instituttet i Trondheim , søknaden ble avslått i juli 1839. S. skrev sin søknad på fransk og rettet den til kong Karl Johan personlig. Han håpet å vekke kongens interesse for sin skjebne, men brevet ble ikke forelagt kongen. I januar 1841 søkte S. en utlyst stilling som lærer i elementærklassen ved Tegneskolen. Søknaden ble henlagt uten å videresendes til Kirkedepartementet, som utnevnte maleren Joachim Frich. I desember 1842 søkte S. om et stipend for å studere portrettmaleri i europeiske samlinger. Søknaden ble avslått.
I maleriene fra 1839-42 gikk S. bort fra den kraftige fargebruk og frie penselteknikk som kjennetegner arbeidene fra oppholdet nordafjells. Formatene ble større og ofte innlemmes genremotiv i bildene. For sin kusine Nicoline Gjessing, malte S. sønnene Gustav Antonio som blåser såpebobler (1841, to utgaver privat eie, svak versjon Drammens museum datert 1864) og Francisco med katt i armene (1839, antagelig brent 1940). S. stod sin kusine Nicoline svært nær og skal ha oppholdt seg hos henne og hennes mann Christian i Drammen lengre perioder hvert år på sine eldre dager. I deres hjem vanket en rekke av samtidens betydelige politikere og kulturpersonligheter. I forbindelse med et oppsiktsvekkende gjenvalg til Stortinget av Peder P. Flor fra Drammen i 1842, malte S. hans portrett (Stortinget), og stilte det ut i Christiania i mars 1842. Flor er malt i halvfigur med korslagte armer. I venstre hånd holder han et skrift. Fargene er sort, grått, kremhvitt og grønt. Bildet er et fornemt eksempel på S.' evne til realistisk persongjengivelse. Antagelig som følge av manglende oppdrag på Østlandet, drog S. i 1842 ut på sin annen reise nordafjells. Denne gang drog han over land opp gjennom Østerdalen, og vinteren 1842-43 bodde han på Tynset. Under et opphold på Røros malte S. Martha Leigh (1843, Bergen Billedgalleri). Portrettet av Leigh viser trekk som fra denne tid kom til å opptre hyppig i S.' kunst og som betegner en svekkelse av det kunstneriske nivå: koloritten blir spettet og uten det rike spill i valører som kjennetegner hans beste arbeider, formen oppløses og strøkene blir brede og upresise. Slike trekk kan forekomme også før 1843, men er da sjeldent, mens de opptrer hyppig etter 1843. Året 1843-44 malte S. vesentlig i traktene omkring Kristiansund og Ålesund. Fra denne mest produktive periode i hans kunst, er registrert over førti portretter fra disse traktene, f.eks. Lars Finckenhagen (1843, Mo kirke, Surnadal), Jens Neergaard, Anna og Joachim Holmboe (1844, begge Nationalmuseum, Stockholm). Hovedverk fra perioden er to portretter av Anne Jervell (1844, begge privat eie) og Engel Delphin (1844, Nasjonalgalleriet). I Trondheim malte S. kirkestatsråd og biskop Hans Riddervolds døtre Sophie og Mette (ca. 1843, privat eie). I dette portrettet og i bildet av Cathinca og Anna Glückstad som omfavner en sau (1844, privat eie), har S. latt seg inspirere av nyrokokkoen som var mote i 1840-årene. Bildene er holdt i en varm og blond koloritt, de er malt i oppløste strøk og har et stenk av sentimentalitet som preger mange av S.' barne- og ungdomsportretter. Tre gutteportretter er malt i Flekkefjord våren 1846: Ludvig Ludvigsen Daae som 12-åring (privat eie), Gerhard Kloumann (privat eie) og Alfred Kielland med sommerfugl i hånden (to utgaver 1846, flere sene gjentagelser etter 1860, alle privat eie). En kjenner ikke arbeider av S. fra årene 1847-48. Våren 1849 oppholdt han seg i Christiania og annonserte etter oppdrag som treskjærer og møbelsnekker. I mai 1849 ble det dannet et galleriselskap på Eidsvoll med formål å skaffe portretter av eidsvollmenn, og S. var den første kunstner som fikk bestillinger på portretter. S. malte en kopi etter sine tidligere portretter av Carl Stoltenberg (1857), Lauritz Weidemann (1850), Niels Fredriksen Dyhren (1851, delvis overmalt av Christian Olsen, en utgave malt for Dyhren, brent 1979), Fredrik Heidmann (1851, kopi etter Jacob Munch). Med unntak av Weidemann hører disse portrettene til S.' svakeste frembringelser.
Oppdragene for Eidsvoll Minne førte S. tilbake til Hedmark og i 1850-51 hadde han en jevn produksjon av portretter i Hamar og på Vang, f.eks. Anne og Halvor Steen (1851, privat eie), Anne Haldora Torshaug (to utgaver privat eie) og Hanna Olava Winsnes (privat eie). For N.A. Madsens rederi i Drammen utførte S. i 1851 en gallionsfigur til skonnerten Urd. Antagelig har S. hatt oppdrag som skjærer av gallionsfigurer også i Tønsberg i 1850-årene. I et brev til Christiania Kunstforening i 1852 spurte han foreningen om den ville kjøpe et kvinneportrett, slik at han "for det større Publikum vandt en Opmærksomhed, jeg hidtil har savnet". Portrettet ble ikke kjøpt. Mellom 1852 og -57 arbeidet S. vesentlig i Tønsberg. Fremtredende arbeider fra perioden er Georg Michael Døderlein (privat eie og Nasjonalgalleriet), søstrene Hasberg (1852, privat eie) og et bilde som har gått under tittelen Skolegutt (1855, Göteborgs Konstmuseum). Det siste viser en gutt i halvfigur som står med en pensel i høyre hånd. På et bord til venstre ligger et malerskrin, et tegnehefte og Det nye testamentet. På en lapp i tegneheftet står: "Til onkel Mathias". Antagelig forestiller bildet S.' nevø Bernhard Stoltenberg, sønn av presten Christian Stoltenberg i Rollag. Bildet er malt med utsøkt delikatesse i strøk og farge og viser at S. også kunne beherske et mer forseggjort figurmaleri.
Som følge av priskonkurranse fra daguerrotypiene begynte S. i 1850 å male på blikk i en forenklet teknikk. En rekke bilder i denne teknikken hører til kunstnerens svakeste arbeider. Den ujevne kvalitet som preger S.' kunst gjennom hele hans virke, bør ses i lys av de vanskelige forhold han arbeidet under. De gangene han fikk arbeide under gunstige betingelser, viste han evne til å oppnå kunstnerisk høyverdige resultater helt inn i sin alderdom. I 1857 reiste han til Hamar. Der ble han bofast hos sine slektninger i familien Steen til inn i 1860-årene, senere leide han et lite rom på gården Østre Disen i Vang. Alt tyder på at S. var vel ansett og gjennom sin velstående familie hadde han alltid kontakt med de kondisjonerte kretser. I 1857 annonserte S. etter portrettbestillinger i Hamar Budstikke. Dette var siste gang han annonserte etter kunder. For familien Gyth malte han fire små bilder på blikk (1857, alle privat eie), men for øvrig later det til at hans produksjon av portretter utenfor den nærmeste venne- og familiekrets har opphørt. Fra 1861 er Martine Stengel med spurv på hånden (Moltzaus samling, tidligere Hans Ødegaard). Bildet er bredt malt i et enkelt koloristisk arrangement av hvitt, siena og rødbrunt. Skildringen av den unge piken har en ynde og sødme som gjør det forklarlig at mange har assosiert S.' kunst med de senere impresjonister. Fra ca. 1862 er Caroline Torshaug (to utgaver, et i Nasjonalgalleriet). Til grunn for komposisjonen og ikonografien ligger 1700-talls malerier. Bl.a. har Jacob Lindgaard, virksom i Vestfold 1737-90, malt flere portretter av unge piker som kan ha vært utgangspunkt for den form S. gav sine portretter av søstrene Anna Haldora og av Caroline Torshaugust. Et posthumt portrett av Hans Michelsen (ca. 1860, Hedmarksmuseum) bygger på S.' portrett fra Michelsens yngre år, men S. har forsøkt å lage et representasjonsportrett. Michelsen er malt med en liten klubbe i hånden. Klubben hviler på en kavalett. I bakgrunnen skimtes en søyle fra Trondheim domkirke. Også i sine siste år kunne S. male realistiske portretter av høy kvalitet, f.eks. dyrlege Vincent Stoltenberg Steen (alle primo 1867, privat eie) og barneportrettet av folkehøgskolebestyrer Herman Ankers sønn Frede. Dette er en barneskildring som i sin følsomhet i tolkningen av barnets trekk og i lysbehandlingen bare har paralleller i en håndfull av S.' portretter. De to portrettene viser at det ikke kan påvises klare utviklingslinjer i S.' kunst. Han vekslet stadig mellom arbeider der vekten er lagt på en presis beskrivelse av form, og bredt malte bilder der formen ofte er forsømt.
Leilighetsvis malte S. også landskaper. De tidligste er Trondenes kirke (1838, Nasjonalgalleriet) og Handelssted i Lofoten (1836, privat eie og 1859, privat eie). Tangen kirke med utsikt mot Strømsø kirke (Drammens museum) er fra 1841. Fra 1858-71 kjenner vi ca. 25 små landskapsmalerier, bilder S. laget for sin egen fornøyelse. De er malt på papp, i et par tilfeller på metall. De fleste beholdt han selv, noen få skjenket han bort som gaver. Motivene var landskapet omkring gårdene Torshaug og Østre Disen på Vang. Bildene har en intim karakter og er nærmest hjemstavnsskildringer av en natur kunstneren kjente godt. Ofte gir han også glimt av arbeidslivet på åkrene. Lengst som landskapsmaler nådde S. kanskje i det såkalte Mjøslandskap (Nasjonalgalleriet), et bilde som antagelig henter sitt motiv fra Trondheimsfjorden eller Mørekysten, og sannsynligvis tilhører S. tidligste landskapsmalerier. Den summariske gjengivelse av gjenstander, de korte penselstrøkene og det tilfeldige preg avskjæringen av motivet har, viser slektskap med J.C. Dahls og Thomas Fearnleys studier, som S. hadde anledning til å se ved flere tilfeller.
S.' virksomhet hadde ingen påviselig betydning for samtidens kunst. I 1892 ble to portretter av ham vist på en utstilling i Christiania Kunstforening og i 1901 ble et større antall portretter presentert på den kulturhistoriske utstilling samme sted. Første gang S. nevnes i et kunsthistorisk arbeid er i Carl W. Schnitlers: Slegten fra 1814, Kristiania 1911. Gjennom Hans Ødegaards innsats på Jubileumsutstillingen i 1914 fikk imidlertid S. en fremtredende plass i kritikeres og publikums bevissthet. Henrik Grevenor utgav i 1935 en monografi over S. Det har vært holdt minneutstilling over S. i 1925, 1947, 1975 og 1980. Mens det tidligere var en tendens til å betrakte S. som en isolert kunstner som ikke kunne plasseres i forhold til noen bestemt stilhistorisk og kunsthistorisk ramme, er det i dag mer naturlig å betrakte S. på bakgrunn av samtidens nordeuropeiske biedermeier-maleri. S. står som en individuell kunstnerpersonlighet innen epoken og han var den betydeligste portrettmaler i Norge i første halvdel av 1800-tallet.
