N. var assistent hos arkitekt og professor Niels Sigfred Nebelong i København 1855–56. Fra 1856 var han lærer i bygningsfag ved Den kgl. Tegneskole i Christiania og drev samtidig egen arkitektpraksis, fra 1887 med sønnen Victor N. som kompanjong. I tillegg var han Kirke- og undervisningsdepartementets faste konsulent i byggesaker ca. 1869–86.
N. fikk flere oppdrag med å tegne leie- og forretningsgårder etter brannen i Christiania i 1858. De kjennetegnes av den tidlige historismens forholdsvis lave relieff i fasadedetaljer og er utført i forskjellige stilarter, f.eks. nygotikk i Ollendorffs gård, Kirkegt. 25 (1858) og senklassisisme i Karl Johans gt. 14 (1858) og Møllergt. 9 (1860). Ellers var den florentiske ungrenessanse karakteristisk for stilen i en rekke av N.s arbeider, med tydelig markering av kvaderstein på hjørnene og over de rundbuede vinduene. Takgesimsen er gjerne ganske kraftig utstyrt med dvergarkade og båret av konsoller, f.eks. Fritzøehus ved Larvik (1860–63), Hypotekbanken (1861–63), Møllergt. 19 (1862–66) og Grünerløkka brann- og politistasjon (1876–78). Mange av disse tidlige arbeidene er sterkt preget av hans lærer J. H. Nebelong. Møllergata skole (1860) var opprinnelig oppført i upusset tegl, men ved utvidelsen 1892–93 ble også den pusset slik det var vanlig på de aller fleste av N.s bygninger bortsett fra murkirkene. I Katedralskolens rektorbolig (1869) var fasadeutstyret blant byens første eksempler på italiensk nyrenessanse med gavlprydet midtparti mot gaten, kvaderimitasjon i underetasjen, pilastre i 2. etasje og kraftig omramming rundt de rundbuete vinduene.
Det er registrert 96 kirker tegnet av N., og han var således den mest produktive kirkearkitekt man har hatt i Norge. De første oppdragene fikk han som lærer ved Den kgl. Tegneskole hvor styret var konsulenter for kirkedepartementet inntil han overtok dette arbeidet alene fra 1869. Blant murkirkene er grensekirken mot Russland, Kong Oscar 2s kapell (1869) og Spjærøy kapell (1891) oppført i naturstein, mens tegl var materialet i Nordstrand (1866), Ulleren (1869), Sofienberg (1877), Asker (1879), Barbu (1880), Kampen (1882) og Stokke (1886). Alle de øvrige er panelte trekirker, og hans virksomhet på dette området ble etter hvert mer og mer standardisert slik at det var nesten bare størrelsen som varierte. Samme tegning ble dessuten ofte benyttet flere steder. Trekirkene kjennetegnes av sveitserstil og har vanligvis en forholdsvis sparsom bruk av detaljer, gjerne nygotiske som kirkenes hovedform. Et typisk eksempel på utformingen er Gjøvik kirke (1882), en av de største og rikest detaljerte. N. hadde ord på seg for å løse oppdragene med god økonomi. Dette kom i særlig grad til uttrykk i disse nøkterne kirkene for den norske landsbygd. I tillegg til å tegne kirker selv, hadde N. stor innflytelse ved å bedømme de kirketegningene andre leverte og hvor han ofte hadde vesentlige krav om forandringer. I N.s senere arbeider i Kristiania finner man ofte et nytt og rikere formspråk som i den store tomannsvillaen Uranienborgvn. 2 (1886), varemagasinet Kongens gt. 22 (1891) og Oslo Tekniske skole (1888–89) hvorav de to siste er utført i tysk nyrenessanse med detaljer i puss mot upussete teglflater. Det er imidlertid vanskelig å skjelne disse senere arbeidene fra arbeidene til sønnen Victor N., som nå var blitt N.s kompanjong.