H.s far var kirurg og sønn av den kjente medisinske professor Christen Heiberg. H.s mor døde ved hans fødsel, og da faren døde i 1897, ble søskenflokken spredt. H. flyttet til Hamar og tok artium der i 1903. Han og fire søsken var utpekt som arvinger til Tomb herregård i Østfold. Det var meningen at H. skulle drive denne. Han var imidlertid mer innstilt på en kunstnerisk løpebane, og godset ble solgt. H.s del av salgssummen gjorde ham økonomisk uavhengig. I 1903 begynte han på Statens Håndverks- og Kunstindustriskole. H. var av vesen stillferdig og tilbakeholden. Han holdt seg for seg selv og tegnet. Dermed fikk han ingen kontakt med samtidige malerbohemer, og dette skulle bli en fordel for hans videre valg av utdannelse. Han drog ikke som de andre norske malere til Kristian Zahrtmann i København eller til Paris. Etter råd fra sine foresatte havnet han i stedet i München. Han gikk på Heinrich Knirrs malerskole og brukte dette året til å legge grunnlaget for en solid tegneferdighet.
I 1905 reiste H. til Paris og begynte på Académie Colarossi. Han gikk sammen med de andre elevene og ventet på at Chr. Krohg skulle komme og begynne undervisningen. Krohg valgte å bli i Kristiania den vinteren, og H. fikk tegnekorrektur av en mer ubetydelig lærer, Jules Renard. Hans møte med fransk kunst, særlig de større samlinger av moderne maleres verk, ble langt viktigere for ham.
I Paris ble H. kjent med de norske malerne, og spesielt ble Henrik Sørensen en god venn. Året etter, i 1906–07, delte han atelier med noen av dem i Alfheimgården i Kristiania. De malte akt om dagen, og om aftenen gikk Sørensen og H. og raderte hos Johan Nordhagen. I samme gård holdt Harriet Backers malerskole til. Etter hennes første separatutstilling i Kunstforeningen januar 1907, overtalte de to vennene henne til å gi dem korreksjon en kort tid i deres atelier.
H. debuterte på Høstutstillingen i 1907 med portrettet av vennen Sigurd Eriksen (Nasjonalgalleriet, Oslo). Det var det første oljemaleri han malte ferdig, og det ble også H.s eneste naturalistiske bilde. Det er sikkert tegnet og et godt portrett, men med mørk og grumset fargeholdning.
I januar 1908 drog H. igjen til Paris, og fram til 1912 tilbrakte han bare somrene i Norge. Gjennom Stavanger-mannen Fredrik W. Jacobsen fikk H. adgang til Sarah og Michael Steins samlinger. Møtet med Henri Matisses kunst ble avgjørende for H. Han møtte et kunstnerintellekt og en malerisk uttrykksform som føltes som et svar på noen av de problemer han selv hadde arbeidet med. Han ble en av de første elevene på Académie Matisse.
Sommeren 1908 var H. bl.a. på kort besøk hos malervennene på Lillehammer. Han fortalte dem om sin nye lærer, som ennå ingen i Norge hadde hørt noe særlig om. Henrik Sørensen, Einar Sandberg, Walther Halvorsen, svensken Birger Simonsson og islendingen Jón Stefánsson ble alle interesserte og reiste samme høst til Paris og ble elever hos Matisse.
Grunntanken i Matisses undervisning var å stimulere elevenes egen personlighet og kunstneriske særtrekk. Når han mente eleven behersket den akademiske tegning, fikk han frihet til å prøve ut mesterens teorier. De fleste elevene valgte å følge Matisses eget billeduttrykk, det rene fargemaleri. Man malte med fargen rett fra tuben. Form og rom ble bygd opp ved hjelp av motsetninger mellom kalde og varme farger.
H. sluttet i malerklassen tidlig i 1910 etter at Matisse hadde uttalt at han nå burde arbeide selvstendig. Han ble i Paris enda to år og modellerte en stund hos Matisse. Siden studerte han bl.a. Cézannes maleri og teorier. Det ble Cézanne, mer enn Matisse, som senere fikk størst innflytelse på H.s billedspråk.
H. var trolig den norske maler som formådde å trenge dypest inn i Matisses kunstteorier. Hans malerier fra disse første årene er naturlig nok tydelig påvirket av læreren: Mannsakt eller Italienermodell (1908, privat eie), Nordlandsgutt (1910, privat eie), Akt (1911, Nasjonalgalleriet), Akt (1912, Rasmus Meyers Samling, Bergen) og portrettet av Rudolph Thygesen (1913, Nasjonalgalleriet). Akten i RMS er den mest gjennomarbeidede, og er mer en utprøving av Matisses teorier enn en etterligning av mesteren. Omhyggelig fulgte H. teorien om bruken av komplementære fargepar ut fra treklangprinsippet, men fargene er mindre dristige. Modellens kropp er nesten klassisk formet, og han viser langt større interesse for volum og rom enn Matisse. I Landskap fra Hvaler (1909, privat eie) og Hei, Ula (1911, Nasjonalgalleriet) røpes den samtidige interesse for Cézanne.
På Høstutstillingen i 1909 utmerket Matisse-elevene seg med H. som den mest utpregede av dem, med en slags skandale-suksess. Carl W. Schnitler berømmet H. for koloristisk holdning og styrke, men omtalte ellers Paris-malerne som Matisse-etterlignere. Werner Söderhjelm i Helsingfors mente at H.s Akt uten fare for den norske kunsts prestisje kunne vært utelatt fra den norske utstillingen i 1911. Man mente videre at H. var for mye påvirket av fransk kunst, at han var ung og uferdig og for filosofisk og teoretisk anlagt. Men man var enige om at han hadde talent og var i utvikling. I 1912 drog H. hjem til Kristiania. Han giftet seg i 1913 med billedhuggeren Sigri Welhaven, og sammen opplevde de Italia med Firenze og Roma, før den politiske uro i Europa gjorde at de vendte hjem i 1914. På Jubileumsutstillingen i Kristiania i 1914 deltok H. som en av De 14 på gruppens egen paviljong. Foruten Akt (1912), viste han Gammel kone (1909, RMS), Boksekamp (1910, privat eie), Kvinner (1914, privat eie København), et blomsterbilde og et fjordbilde med badende gutter.
Krigsårene hjemme ble modningsår for H. med høydepunkter i somrene på Hvasser og Tjøme i 1915 og -16. Han kom fram til en klar og treffsikker form for inntrykk og opplevelser i landskap, mennesker og dyr, og solens spill over hav og land: Veversken (1915, privat eie), Badende gutter (1915, Nasjonalgalleriet), Eftasvæl (1916, privat eie), Hester på havna (1916, privat eie), Mor og barn (1916, privat eie) og Solblank dag (1916–17, privat eie). På sine separatutstillinger i 1911 og -16 viste H. de siste sommerbilder og portretter bl.a. av Gretha Prozor (1914, Statens Museum for Kunst, København) og Sigri Welhaven Heiberg (1917, Göteborg Konstmuseum). Kritikerne var stort sett enige om at han innfridde de forventninger man hadde til hans talent og at påvirkningen fra det franske var i ferd med å overvinnes. Særlig var dette merkbart i Gretha Prozor. Ved markering og forskyvning av stolens armlener i forhold til modellens armer, en liten vridning på hodet samt fargenes kontrastvirkninger, gir portrettet inntrykk av ledighet, bevegelse og rom. En sammenligning med Matisses' portrett av samme modell viser at H. hadde større interesse for modellens individuelle trekk og personlighet.
Allerede før fredsslutningen i 1919 var H. tilbake i Paris, hvor André Derain med sin blonde koloritt var blant de toneangivende. H. gikk også inn for en redusert bruk av fargen. Hans Selvportrett med staffeli (1919, Nasjonalgalleriet) er preget av denne lysfylte og kjølige fargeholdning. Blant H.s portretter ble dette et sentralt bilde. Maleriet viser et speilbilde av maleren foran sitt staffeli og er asketisk nøkternt i sin detaljfattigdom. Fargene i rommet er svale og blonde. Malerens blå skikkelse med det nesten konturløse, rødmussede ansikt er malt i motlys og står ensom i det nakne rommet. En fruktskål fordobles i speilet og er bildets eneste dekorative detalj. Sollyset i vindusåpningen formidler inntrykket av luft og blått middelhav. Komposisjonen er ikke så konstruktiv som i senere bilder, men er meget bevisst gjennomført.
H. malte i disse årene en rekke portretter som ble gjennomarbeidet til minste detalj, noen av dem gjennom lengre tid: Henrik Sørensen (1921, Lillehammer Bys malerisamling), Thorvald Erichsen (1922, Lillehammer Bys malerisamling) og Dobbeltportrett eller To malerinner (1922, Nasjonalgalleriet) av de svenske malerinner Siri Rathsman og Agnes Mannheimer, sistnevnte H.s nye hustru. To malerinner preges også av en bevisst komposisjon med hovedvekt på de mange horisontaler og vertikaler, i tillegg til fargeklangen av rødt, dempet blått og grønt. Separatutstillingen i 1922 viste at H. var kommet fram til en sikrere og mer selvfølgelig harmoni mellom motiv og billeduttrykk. Den dempede koloritt føltes ny og fremmed. Man fremhevet hans strenge og sluttede form som tilsynelatende var blottet for lyrikk og utbrudd av temperament. Men samtidig innrømmet man ham en sjelden følsom behandling av mor- og barnmotivene og evne til å formidle det intense lys i strandbilder med sjø og sol, uten å henfalle til sentimentalitet. Utstillingen viste portretter og landskapsbilder fra Pyreneene og Provence og fra sommerbesøkene på Kjeldsøy ved Kragerø, hvor han først noen år malte sammen med Thorvald Erichsen. I midten av tyve-årene møtte H. den danske maleren Georg Jacobsen. Gjennom dette vennskapet ble H. ansporet til videre studier av Cézanne og til studier av proporsjonslæren og de optiske fenomener og persepsjonsteorier. Portrettet av Georg Jacobsen (1928, Nasjonalgalleriet) betegner klimaks i denne fasen av H.s produksjon. Bildet er bygd opp under modellens veiledning og må betraktes som et samarbeid. Den dempede fargeholdningen av grågrønt, oker og blågrått gir i seg selv en god karakteristikk av modellen, et inntrykk av behersket ro og selvkontroll.
I 1922 omtalte H. seg selv som figurmaler, og det er portrettene og figur- og gruppebildene som blir høydepunktene i hans samlede produksjon. Søsken (1930, Nasjonalgalleriet) er en av de fineste barneskildringer i norsk kunst, malt etter at H. vendte tilbake til Norge for godt i 1929. Full forståelse av bildets motiv og bærende idé får man først når man vet at H.s datter Liv var psykisk utviklingshemmet. H. har samlet billedelementenes forskjellige bevegelsesretninger og linje- og flaterytmikk i en samlet harmonisk helhet, hvor hver detalj får sin betydning. Det Matisse-inspirerte tapet er ikke bare en dekorativ del av bildet, men karakteriserer også barnets idéverden med antydninger av landskap og steilende ryttere. Av H.s sentrale mannsportretter bør nevnes Professor Theodor Frølich (1930, Rikshospitalet), Jens Thiis (1933, Nasjonalgalleriet) og Hans Aall (1944, Norsk Folkemuseum).
Det viktigste trekk i bildene fra 1930-årene er at den rene fargen er kommet tilbake. Hans økende interesse for landskapsmotivet var en del av årsaken til dette. På Kjeldsøy bodde han sommer etter sommer og arbeidet vekselsvis med hagen, steinarbeid og maling. Somrene i skjærgården gjorde klassikeren H. til impresjonist, uten at han dermed gav avkall på den faste og sikre komposisjon. Han malte bare tre vinterbilder, og hans naturopplevelser fordeler seg grovt sett i to motivgrupper. Til den første gruppen hører bilder med sjø, fjord- og strandmotiver og rene naturmotiver, fra det fargekraftige Hei, Ula (1911, Nasjonalgalleriet) til de senere raske og spontane naturinntrykk fra utlandet og fra Norge. Den andre gruppen samler seg om motiver hentet fra hagen på Kjeldsøy, som Kastanjetreet (1943, privat eie), Gamle frukttrær (1945, Nasjonalgalleriet) og I haven (1946, privat eie). Tegningen forble helt opp i de senere år et nødvendig forarbeid for H.s malerier. Den lovmessighet han søkte etter og kom fram til gjennom studier av Matisse og Cézanne og videre gjennom samarbeidet med Georg Jacobsen, vises i mange tegninger. I disse analyserer H. bildets muligheter, fra den plastiske oppbygning, bevegelsesmotivet og planforskyvninger til nitide studier av modellens ansikt. Et eksempel på dette er forstudiene til Familien (1925, Nationalmuseum, Stockholm). H.s tegninger er presise og konstruktive i formen og kan virke nesten tørre i sin enkle nøkternhet. Han reserverer plass for fargen og dens evne til å danne form og perspektiv. Opplevelsen av motivet kunne imidlertid gå tapt under forarbeidet med tegningene, og i de senere år gikk han derfor raskere over fra tegning til pensel og farger.
I 1967 viste H. en ren akvarellutstilling med motiver fra Italia, Hellas, Røros, Valdres og sommerparadiset på Kjeldsøy. Han fanget inn Etnas røk mot Sicilias blå himmel, olivenlunder under Castelmola, soldirrende luft over hvite husklynger på Peloponnes, palmer i Taormina, fiskerbåter i Cefalu, vårvind rundt Snøhetta og rødrusten høst på Kongsvoll. Hans tidlige akvareller har en mer markert og strammere form, mens de siste har et større fargeregister. I akvarellen renonserer H. på de mange detaljer og konsentrerer seg om helheten. Hans lange studier av bevisst billedoppbygning gav den tilsynelatende spontane akvarellformen stor treffsikkerhet. De flytende raske strøk preget etter hvert også maleriene i olje, og de siste års produksjon fikk akvarellens formspråk. I 1930 fikk H. sitt eneste oppdrag som formgiver. L.M. Ericsson i Sverige gav ham oppgaven å tegne selskapets nye telefonapparat i samarbeid med AS Elektrisk Bureau i Oslo. Den såkalte 1932-modellen i sort bakelitt var i bruk i Norge og Sverige helt fram til 1952.
Det samlede maleriske uttrykk i H.s produksjon viser indre sammenheng og estetisk ro. Om hans kunstneriske intellekt til tider virket kjølig og beregnende, røpes malerens personlighet i utformingen av motiver som stod ham særlig nær: barnet, kvinnen, en god venn og sommeren i den norske skjærgård. Med sine komposisjonsprinsipper bidrog H. til å forberede grunnen for monumentalmaleriet i norsk kunst. Selv utførte han bare én freske, i Papirindustriens forskningsinstitutt i Oslo (1956). I den klassisistiske strømning som preget midten av 30-årene, ble H.s maleri et korrektiv og en målestokk for hans egen generasjon. H.s tyve år som professor på Kunstakademiet gav dessuten etterkrigstidens norske malere et normgivende holdepunkt gjennom 50-årenes abstrakte periode i norsk kunst.