Etter endt utdannelse var E. fra 1872 en kort tid assistent hos arkitekt J.W. Nordan i Christiania, men etablerte snart egen praksis her. Fra ca. 1890 hadde han kontor sammen med sin halvbror Einar Smith i firmaet Ekman & Smith; fra ca. 1910 også sammen med Carl Michalsen i firmaet Ekman, Smith & Michalsen. En rekke bygninger fra 1890-årene og senere ser imidlertid ut til å være oppført med E. som enearkitekt. E. var bygningsinspektør i Kristiania 1876-88.
E. var antagelig Norges mest produktive arkitekt på 1800-tallet. Han har tegnet hundrevis av bygninger av alle typer, spesielt i høykonjunkturperioden i Kristiania ved århundreskiftet. I 1880- og 1890-årene tegnet han en lang rekke skoler både i pusset og upusset tegl. Fasadedetaljene er for det meste hentet fra renessansearkitektur. Skolene har store vinduer som gir lys til store, luftige klasseværelser, og bygningene var for sin tid et moderne og rasjonelt svar på skolevesenets behov. Lillehammer sparebank og festivitetslokale (1892–96) er som mange av E.s bygninger inspirert av italiensk renessansearkitektur. Bygningen har upussede teglfasader med pussede bånd, pilastre og gesimser. Over hovedfløyen med den store festsal i 2. etasje troner en stor, kvadratisk kuppel. I 1890-årene oppførte E. en lang rekke forretningsgårder i Kristiania, bygninger som markerer et høydepunkt i norsk arkitektur og håndverk. De fleste gårdene er på fem etasjer, har fasade til to eller flere gater, med butikklokaler i de to nedre etasjer og kontorer, leiligheter eller hotell over. Fasadene er gjerne meget rikt utstyrt: de to nedre etasjer i granitt gjennombrutt av store speilglassvinduer; de øvre etasjer i tegl med puss- eller huggesteinsdetaljer. Hele huggesteinsfasader forekommer også. Utstrakt bruk av jernbjelker og -søyler muliggjør de store vindusflatene og åpne planløsninger. De arkitektoniske detaljer er for det meste inspirert av renessanse- og barokkarkitektur. Interiørene i disse forretningsgårdeneer også gjerne usedvanlig påkostet, og den tekniske standard var for sin tid meget høy med elektrisk lys, heisanlegg ogsentralvarme.Citypassasjen mellom Akersgt. og Prof. Aschehougs pl. Oslo (1897–98), er eksempel på en spesiell variant av forretningsgårdstypen. Bygningstypen er sjelden i Norge, og et unikt produkt av 1800-tallet. Anlegget er beskjedent i forhold til forbildene; de store passasjeanleggene i en rekke storbyer i Europa. E. & Smith har her bygd en forretningsgård der fasadene er vendt inn mot en smal gågate gjennom kvartalet. Løsningen tilbyr dermed mye større fasade- og utstillingsflater enn tomten ved normal utnyttelse ville gitt. Som de fleste andre norske arkitekter gikk E. etter århundreskiftet fra sin internasjonale historistiske orientering over til å la seg inspirere av vår hjemlige renessanse- og barokkarkitektur. E. var meget interessert i reguleringsspørsmål. Han lanserte allerede i 1870-årene ideen om å legge Kristianias rådhus i Pipervika, og foreslo i 1909 å legge Drammensbanen i tunnel under Frogner for å frigjøre Frognerstranden til strandpromenade.
