B. vokste opp i et gårdbrukerhjem og tilhørte en kunstnerisk begavet slekt. Han begynte tidlig å tegne. 18 år gammel lot han seg verve som soldat i Bergen for å tjene sitt brød. I fritiden tegnet han flittig og forsøkte også å skaffe seg kunnskap i astronomi og matematikk, noe han fortsatte med senere i livet, bl.a. de sommere han tilbrakte hos Helge Væringsåsen i Østerdalen. Denne bygde til og med et observatorium til ham. Etter to års garnisonstjeneste kunne han ofre seg helt for kunsten og fikk H. Reusch til lærer. B. malte på denne tid mest portretter og stilleben. Ved hjelp av støtte fra borgere i Bergen reiste han sommeren 1849 til Akademiet i Antwerpen og fikk Dyckmann som lærer. I 1852–54 var B. lærer ved en tegneskole som Lyder Sagen hadde fått i stand i Bergen.
I 1855 drog B. til Düsseldorf, hvor han, avbrutt av enkelte studiereiser, ble til våren 1869. Han utførte en rekke genrebilder av norsk folkeliv og fortsatte Tidemands tradisjon som folkelivsskildrer. Fra 1856 til 1872 leverte han årvisst figurbilder fra røkstuer, seterscener og fiskerstuer til utlodningen i Christiania Kunstforening. Han malte også en rekke historiemalerier som er blitt vel kjente gjennom utallige reproduksjoner, f.eks. Birkebeinerne på ski over Filefjeld fører Håkon Håkonsøn som barn til Trondhjem (1869), Kong Sverre i snestormen på Vossefjeldene (1870) og Oscar 2.s kroning i Trondhjems Domkirke (1874, Det Kgl. Slott Oslo). Til kong Oscars kroning i 1873 malte han 5 dekorasjonsmalerier til Stiftsgården i Trondheim. Etter 1869 malte han hovedsakelig portretter. B. hadde en fremragende evne til å fange inn den rent ytre likhet hos modellene. Dette kan henge sammen med at han på et tidlig tidspunkt var oppmerksom på den betydning fotografiet skulle få for malerkunsten. Han hadde også en sterk innlevelsesevne og formådde i sine beste portretter å trenge inn til modellens personlighet. Tydelig kommer dette fram i det ypperlige portrett av kunstnerens far, (Nasjonalgalleriet, Oslo). I hans senere år kunne hans portretter virke noe løse og lite gjennomarbeidede. Etter 1874 stilte han sjelden ut. Blant hans portretter kan nevnes Eilert Sundt (Oslo Arbeidersamfund); General Wergeland (Kristiania Frimurerlosje); J.F. Eckersberg (Oslo Kunstforening). Han har også portrettert Schweigaard, Asbjørnsen, P.A. Munch. Foruten de mange representasjonsportretter finner vi ellers et fortryllende barnebilde av Brynjulf Bergsliens datter Helga (gjengitt i M. Dagestad: Dei tre Bergslikunstnarane, Voss 1945, s. 31). B.s vesentligste betydning i norsk kunsthistorie ligger i hans lærergjerning for den generasjon av malere som satte sitt preg på norsk kunst fra 1880-årene og inn i vårt århundre. Blant de kunstnere som var elever på Bergsliens malerskole i "Pultosten", kan nevnes Chr. Skredsvig, Hans Heyerdahl, Eilif Peterssen, Gerhard Munthe, Edvard Munch, Harriet Backer, Kalle Løchen, Torstein Torsteinson, Halfdan Egedius og Thorvald Erichsen. "Gamle Bergslien" var avholdt både som menneske og som lærer, selv om hans elever ikke alltid fulgte hans anvisninger og var enige i hans noe düsseldorfpregede fargesyn, men hans koloritt kunne til sine tider være ganske djerv.
Gudes karakteristikk av B. som menneske synes å dekke den alminnelige oppfatning: B. var en kar med malm i og en tvers gjennom elskelig personlighet.