Han var yngste sønn av en tyskfødt byggmester som i 1864 hadde slått seg ned i Christiania. K.s velhavende barndomshjem var liberalt og kunstinteressert. Søsteren Marie utdannet seg til møbel- og interiørarkitekt, søsteren Fredrikke studerte musikk i Dresden, mens yngstesøsteren Kristine ble tekstilkunstner. K.s bror Heinrich utdannet seg til arkitekt. Allerede under gymnastiden gikk K. på Den kgl. Tegneskole om kvelden, men sammenlignet med sine ungdomskamerater Harald Sohlberg og Halvdan Egedius var han langt fra noe bråmodent geni. En studiereise til Telemark i 1893 sammen med Egedius og Stadskleiv, resulterte f.eks. bare i noen usikre oljeskisser og en beskjeden skissebok (Nasjonalgalleriet, Oslo). Etter en mislykket artium, drog K. i 1895 på studietur til en rekke byer og landskaper i Europa. Men han ble aldri lenge på samme sted. Rastløst flakket han fra Roma til Firenze, så finner vi ham igjen i München, men bare for en stakket stund. Et års tid tilbrakte han i Spania, og han foretok også en lengre reise til de øvrige landene langs Middelhavet.
Med sitt stridbare gemytt og etter hvert viden kjente og fryktede tunge, fikk han flere uvenner enn venner blant andre norske utenlandsfarere, og han syns tidlig å ha oppfylt bohemens ideal om hjemløshet og opprør mot alt og alle. Det er derfor vanskelig å gjøre rede for K.s bevegelser i 90-årene og senere. Noen lengre, formell undervisning mottok han nok ikke på denne tiden, bortsett fra sporadisk korrektur fra Gustav Wentzel, Harriet Backer og Christian Krohg i Kristiania og to opphold på akademiet i München, i 1896 og 1899–1900. Fra dette siste oppholdet stammer et av K.s tidligste bilder, Adam og Eva (1899 Rolf Stenersens samling). To nakne skikkelser i melodramatisk positur er plassert i et goldt ørkenlandskap. Over den sandfargede sletten og det gråsorte havet i bakgrunnen hvelver seg en ensformig, gråbrun himmel. Stilistisk står bildet i gjeld til den samtidige, internasjonale symbolismen. Fargene er lavmælte og forsiktig strøket inn i lerretet i tynne skikt. Bildet står isolert i K.s produksjon og røper ikke noe av de fargeeksplosjoner han senere ble kjent for.
Sommeren 1901 drog K. til Åsgårdstrand og kom i direkte kontakt med Edvard Munch, som skulle få mest å si for hans utvikling og maleriske syn. I det romantiske Sommernatt og i Hvit strand (begge 1901) tok K. for seg Kiøsterud-gården med den karakteristiske trekronen og de myke rullesteinsformasjonene på stranden, kjent fra Munchs mange Åsgårdstrandbilder. Også i Søsken (1903 Bergen Billedgalleri), en inntrengende portrettstudie av tre gutter, røper fargebruk og motivtilskjæring mesterens nærhet. Tre alvorlige smågutter klumper seg sammen mot en gulbrun vegg. De er orientert mot en lyskilde som kaster grelt lys inn fra høyre, mens mørket tetner til mot ytterkantene av bildet. Hva stemningen angår, syns det rimelig å tolke bildet i lys av Munchs nervefine og følelsesladde kunst. Ikke minst Det syke barn (1885–86) må ha spøkt i K.s fantasi da han skulle male disse bleke barna. Vi kan heller ikke se bort fra Hans Heyerdahls og Chr. Krohgs innflytelse på hans måte å oppfatte og gjengi motivet på i disse grunnleggende årene, Heyerdahl når det gjelder teknikk, Krohg når det gjelder krass og umiddelbar virkelighetsgjengivelse.
Det var for det meste figurbilder, portretter og landskap K. malte på denne tiden. Han kunne, som i Vårkveld i Ula (1905 Nasjonalgalleriet) og Landskap med hus (1907–08 Rasmus Meyers Samlinger, Bergen), oppsøke motivet i de stemningsfulle aftentimene da lyset får landskapet til å gløde, eller han kunne som i Landskap fra Hvasser (1905) la fargene sprake i bunter av rødt, grønt, blått og rosa. Blant portrettene kan nevnes det av kunstnervennen Olaf Gulbransson (1902) og av Ebba Kjær (1907). Både motivtilskjæring og oppfatningen av modellene har sine forutsetninger i Munchs portrettkunst. Til sine figuroppstillinger valgte K. magre modeller fra badestedenes underklasse, som i To menn og Syk kone (begge 1901), Mor med dødt barn (1905), Enken og Ved sengen (begge 1907).
K. var i Åsgårstrand både i 1901, -04 og -05, men valgte deretter å tilbringe somrene på et annet populært kunstnersted, Son ved Kristianiafjorden. At dette skyldtes en slåsskamp med Munch i Åsgårdstrand 1905 er tvilsomt, selv om den direkte kontakten dem imellom fra nå av var mer sporadisk.
I Son malte han i 1907 sitt kanskje mest betydelige ungdomsverk, Tæring (Nasjonalgalleriet), et gripende helfigursbilde av en tuberkuløs kvinne. Her benyttes det samme komposisjonsskjemaet som Munch hadde brukt i bildet av søsteren Inger (1892), men forskjellene er påtakelige: Der Munch hadde malt en vakker og rank kvinne som varsomt folder sine slanke hender i dempet belysning, foretrakk K. en gammel og lut kone med plirende øyne og grove arbeidsnever. De hurtig påsatte penselstrøkene får bakgrunnen til å vibrere i solbelyst gulgrønt og mørkere blå skygger med streif av rødt. Et blekt og herjet ansikt løses opp i reflekser av hissig rødt, gult og isgrønt. Det nervøst ekspressive i foredraget og den høye temperaturen i fargesammensetningen illustrerer godt K.s egne utsagn om at man skulle "skjælve sig til sine Billeder", for all god kunst var et spørsmål om nerver, om "farvenerver". Han benyttet seg gjerne av komplementærkontrastene rødt-grønt og varierte denne ved hjelp av en tredje farge, som blått eller gult. Hemmeligheten ved fargetreklangene, som hans yngre kolleger, Matisse-elevene, mente å ha lært hos Matisse, hadde K. lært seg ved å studere de franske postimpresjonistene. Hans evne til å oppfatte farger ble raskt bemerket i den samtidige kritikk, og snart ble han utropt til vår fremste kolorist. Denne karakteristikk var han selv enig i: "Farvene er som et flygels toner. Slaar man én feil, kan man peke paa det paa bildet. Hvorledes kan en maler male? Jo, fordi han har farvenerver. De kan slappes og strammes. Hvis man er borte fra arbeidet nogen tid, mister de sin styrke, den følsomhet de har hat som naar man har arbeidet et helt aar. Man maler sig op (...) Saa ligger man der. Nervene makter ikke mere" (intervju Verdens Gang 17.10.1919).
Fremover mot 1910 trengte et mer direkte franskinfluert maleri de hjemlige idealer noe i bakgrunnen. Innflytelsen fra Munch ble mindre påtakelig, selv om Munchs eksempel aldri helt ville gi slipp på K., noe han selv innrømte og var stolt av.
K. hadde kommet til Paris for første gang i 1900 og var senere en nesten årviss gjest her, vel kjent så vel i den norske kunstnerkolonien som i mer kosmopolitiske kunstnerkretser. Han opplevde hundreårsutstillingen for fransk kunst i 1900 og hadde mottatt sterke inntrykk av den retrospektive utstillingen av van Gogh i 1901. I følge ham selv husket han fremdeles etter 20 år hvert eneste bilde. Både Gauguin og Cézanne hadde han tidlig gjort seg kjent med. Han forsøkte seg med Cézannes rytmiske penselføring og karakteristiske formoppbygging så tidlig som i 1906, og han hevdet selv at Paul Cézanne og Auguste Renoir var de to ypperste av alle franske malere. For øvrig må han ha kjent fauvistenes maleri, og blant disse ses spesielt en innflytelse fra Kees van Dongen og Henri Matisse. I 1901 gikk han og tegnet akt på et pariserakademi hvor Eugène Carrière var lærer, og i 1910 tok han inn på Académie Matisse.
Den raffinerte Liggende akt (1909) er typisk for det nye omslaget i hans utvikling. Det viser en forsterket interesse for nye komposisjonelle løsninger og ikke minst for andre sider av virkeligheten enn den han hadde vært opptatt av f.eks. i Tæring. Og med oppstillingen Gobelin (1911, Rolf Stenersens Samling), som gjengir en bukett roser og noen gjenstander på et bord foran et gobelin, innledes en lang rekke fargearrangementer eller nature mortes. Blant Matisses norske elever var det kun K. som gjorde denne genren til en viktig side ved sin produksjon. Gobelin bærer for øvrig de velkjente karstenske spor etter selve den kunstneriske arbeidsprosessen: pastose overmalinger, utskrapinger og lerretskjøter. Han kunne også integrere mislykte utkast i nye motiver, som f.eks. I sengen (1914). Her utgjør restene av en stående akt en tilsynelatende skjødesløs, men meget virkningsfull del av det nye motivet. Under et sommeropphold på Hvasser i 1913 malte K. sine kanskje mest berømte bilder, Det røde kjøkken og Det blå kjøkken (begge Nasjonalgalleriet). Det førstnevnte er noe av det mest abstrakte han har gjort, og her oppsummeres de formelle eksperimenter han hadde arbeidet med siden 1909–1910. Han gjorde til og med forberedende utkast i kull, noe som ellers var uvanlig for den impulsive og raskt arbeidende maleren. Etter K.s mening ville for mye refleksjon og beregninger svekke kunsten. Det var "anslaget" det kom an på, ikke det sure slit. Det blå kjøkken er langt heftigere og mer umiddelbart grepet i skildringen av hvordan sommerdagens gryende lys trenger inn gjennom et vindu og treffer noe husgeråd og koppestell på en landsens kjøkkenbenk. Dette bildet innleder en rekke skildringer hvor lyset synes å være det viktigste. Alle gjenstander løses opp og knyttes sammen igjen i en flimrende urolig helhet.
I 1913 hadde K. forlengst etablert seg som sin generasjons ledende norske maler. Ifølge Jens Thiis og Jappe Nilssen raget han høyt over så vel sine samtidige kolleger som den yngre generasjon. I 1913 slo K. også definitivt gjennom i Danmark med en utstilling i København Kunstforening. Fra 1910 og fram til sin død oppholdt han seg mer i Danmark enn i Norge, og danske kunsthistorier tar ham gjerne med som en av sine. Den danske mesenen Tetzen-Lund hadde blitt oppmerksom på K. allerede i 1910 da han kjøpte Selvportrettet (1909, Nasjonalgalleriet), og han ervervet seg etter hvert en betydelig samling K.-bilder. Hans danske hustru Misse ble for en stund hans favorittmodell og motivene ble hjemlige og lune: Misse stod Ved komfyren, Ved kjøkkenbenken, Ved vinduet eller hun satt Ved ovnen eller I sengen.
Somrene ble tilbrakt på danske badesteder, i Gilleleje 1914 og -15, i Hellebæk 1918 og i Hornbæk 1919. Motivene ble hentet fra fredfylte sommerhager med kvinner i fluktstoler eller under skyggefulle trær. Produksjonen under og rett etter 1. verdenskrig har med rette blitt karakterisert som svært ujevn i kvalitet. Det intense foredraget og den stofflige rikdommen i fargene måtte stundom vike for noe slapt og rutinemessig i uttrykket. Ikke minst gjelder dette portrettene, den skandaleomspunne rabulisten var blitt en etterspurt portrettmaler.
I 1920-årene kom han til nye krefter. Dette merkes allerede i Vaskebordet (1919), et perlemorsskimrende bilde som spiller i de sarteste nyanser i lyst blått og grønt. Oppsvinget inntraff omtrent samtidig med at K. flyttet fra København til Skagen i 1920. Her kjøpte han hus og var bosatt til sin død, men gjorde enkelte avstikkere til København, Oslo og Paris. Nå malte han en rekke lysfylte landskaper med høye himler og dype billedrom. Alt oppløses i et striregn av fargeflekker. Uttrykket kan minne om den grove og usystematiske pointillismen som han var blitt kjent med i Paris i begynnelsen av århundret. Men parallelt med disse lysbejaende naturskildringene gjorde det seg også gjeldende et mer mollstemt maleri, dypt og glødende i koloritten, dramatisk i motivet. Etter Bassano (1922, Nasjonalgalleriet) preges av voldsom bevegelse og barokke lyseffekter. Det er malt etter et italiensk 1500-talls maleri i K.s eie. Tidligere hadde han gjort kopier, eller rettere parafraser, over Jusepe de Riberas Gravleggelse (1906, Nasjonalgalleriet) og Rembrandts Batseba (1910, Trøndelag Kunstgalleri). I 1926 målte han kreftene med Watteaus Gilles. Vi aner noe av spennvidden og de voldsomme skiftningene i K.s kunst når den nattsvarte mystikk i hans store religiøse komposisjon Golgata (1923, Statens Museum for Kunst, København, replikk Bergen Billedgalleri) settes opp mot de ukompliserte sommerbildene han arbeidet med samtidig.
