M. tilbrakte sine første barneår i Holmestrand og fikk allerede da litt tegneundervisning på skolen. I 1838 ble faren fogd i Stjør- og Verdalen med bolig i Skogn ved Levanger, og sønnen ble sendt på Katedralskolen i Trondheim. Han ville bli kunstner og studerte ivrig de norske bilder som fra Tyskland ble sendt hjem til Kunstforeningens utlodninger. Avgjørende betydning fikk elevtiden på Lars Hansens tegneskole. Hansen "tændte et lys hos mig som ikke var til at slukke", sier M. i sin livfulle skildring av ungdomstiden (Nidaros 1908). Et år før han skulle ta artium sluttet han på skolen, og med støtte av dikteren C.N. Schwach og rektor F.M. Bugge fikk han lov til å dra til Düsseldorf, dit han ankom i april 1847. Han ble elev av J.W. Schirmer og av Hans Gude, og fikk også noe tegneundervisning av Adolph Tidemand. Sommeren 1848 var M. igjen i Norge. Han slo seg sammen med J.F. Eckersberg, Johan Jacob Bennetter og Erik Bodom og drog på studieferd i Nordmarka, en opplevelse som ble avgjørende for ham som kunstner. Et felles møtested var Gudes atelier i Christiania, der han traff J.S. Welhaven, P.Chr. Asbjørnsen, Jørgen Moe og Bernhard Herre. Han sluttet seg også nær til August Cappelen og malte sammen med ham, og mente selv at Cappelen betydde mest for ham som kunstner. Nært vennskap knyttet ham til Gustav Adolph Mordt, som hjalp ham over perioder med tvil og motløshet. Sommeren 1850 traff han i Levanger den svenske maler Marcus Larsson, og sent på høsten tok M. i Stockholm igjen kontakt med Larsson, som trengte en "specialist på terräng" og satte M. i arbeid med å male steiner, trær osv. i sine bilder. Larsson laget komposisjonene og malte fosser og bakgrunn, og staffasjen ble malt av Kilian Zoll. Tilbake i Düsseldorf høsten 1851 opplevde M. Cappelens siste hektiske skapertid, og han fulgte også på nært hold Lars Hertervigs tragiske skjebne. M.s arbeider begynte å vekke oppmerksomhet, og Emil Tidemand slo til lyd for ham i en artikkel i Deutsches Kunstblatt i 1852. Sitt endelige gjennombrudd fikk han med Fra omegnen av Oslofjorden (1855, Nasjonalgalleriet, Oslo), som skaffet ham en mention honorable på Verdensutstillingen i Paris samme år. Han malte i disse årene vesentlig østnorske skogstemninger med tjern og mørk granskog, holdt i en dempet, fargefattig koloritt. Men han hentet også motiver fra de vestnorske fjorder og høyfjell, Folgefonnen (1864) og Ved Hardangerfjordens utløp (1866, Nasjonalgalleriet). I 1876 malte han bakgrunnens fjord og fjell i Adolph Tidemands Sinclairs landing i Romsdal (Nasjonalgalleriet og Lillehammer Bys malerisamling).
Årene 1866–73 tilbrakte M. i Norge, og ledet etter Eckersbergs død i 1870 til 1873 hans malerskole sammen med Knud Bergslien. Blant elevene var Gerhard Munthe, Nils Hansteen, Ludvig Skramstad og Fredrik Borgen. Han var nå høyt ansett som kunstner. Kong Carl 15. besøkte ham ofte og inviterte ham flere ganger til Stockholm. Etter oppdrag av Halvor Schou utførte han en serie dekorative veggbilder på Sinsen gård i Aker (bygningen revet i 1930-årene), og sammen med andre kunstnere malte han dørfelter i P.Chr. Asbjørnsens hjem i Christiania. På denne tid samlet M. seg mer og mer om skildringen av den østlandske furuskog, gjerne med streif av kveldssol over røde furustammer og blanke tjern, malt i en rikere og lysere fargeskala, eller fossebilder. Med slike bilder er han representert i de fleste museer. M. malte også tyske landskaper, særlig fra Westfalen. Reaksjonen på hans lettflytende kunst med dens hang til penselflotthet og ytre bravur meldte seg med full tyngde i 1880-årene og kom til uttrykk bl.a. i Chr. Krohgs harde dom i artikkelen Dilettantutstillingen (Dagbladet 1887). M. var nå selv klar over svakhetene: "jeg var i Düsseldorf kjørt inn i en sump", sa han i et intervju i 1890-årene, og han søkte å fornye sin kunst ved en lettere og blondere farge, et friere strøk og enklere motiver. Et godt inntrykk av denne siste fase gir en mappe med fargeplansjer, Norge, som han utgav få år før sin død. Motivene her er hentet fra Nordmarka, Valdres, Telemark, Nordfjord, Hardanger og Holmestrand. Et par friske fossestudier gjengir virtuost det skummende vann, malt med brede, nesten impresjonistiske strøk. M. var den siste gjenlevende av den første norske Düsseldorf-generasjon, og han var også den som, Lars Hertervig unntatt, best greide å løsrive seg fra skolens bånd. M. hadde brede kulturelle interesser, og mange søkte hans gjestfrie hjem i Düsseldorf.