Ole Olsen var en av den norske gullalderens mest profilerte og produktive komponister. Selv påvirket av datidens strømninger i europeisk musikkliv arbeidet han for aktiv bruk av norsk musikk. Begge deler skaffet ham tilhengere og motstandere. Hans tilknytning til vår nordligste landsdel, hans vide interessefelt og hans entusiasme gjorde ham til en av de mest kjente og populære personligheter i tidens kultur og musikkliv. I ettertid er han mindre kjent, men hans tilgjengelige verker spilles, og hans operaer synes å ha generert en viss ny interesse.
Ole vokste opp i et musikalsk og kultivert hjem i Hammerfest. Faren var opprinnelig snekker av yrke, men han var en habil fiolinist, fungerte som byens organist i 20 år fra 1847 og var en kjent leilighetsdikter. Ole lærte tidlig piano av sin far og skal allerede som 5–6-åring ha vikariert for ham som organist, samtidig som han nedtegnet sin første komposisjon. Skolegangen ble avsluttet på latinskolen i Tromsø. Der fikk han også videre piano- og orgelundervisning hos byens organist, Carl Moe. 1865 begynte han i urmakerlære i Trondheim, og han studerte piano/orgel/harmonilære med Fredrik og Just Lindeman. Etter to år konsentrerte han seg kun om musikken, og han vikarierte for Just Lindeman som organist i Nidarosdomen (1868).
Arkitekt Heinrich Schirmer fra Christiania, som arbeidet med restaureringen av domkirken, hørte ham spille og anbefalte videre studier ved konservatoriet i Leipzig. Olsen studerte der 1871–74 og ble en varm beundrer av Wagner og de nye strømninger. Som resultat av hans arbeider ved konservatoriet kjenner vi i dag hans symfoni (G-dur) og deler av hans opera Stig Hvide.
Hjemme igjen slo han seg ned i hovedstaden som lærer i piano og harmonilære. De nærmeste årene ble flere av hans komposisjoner oppført, og han fikk oppdrag som akkompagnatør ved konserter og turneer. Våren 1876 gav han sin første helaftens komposisjonskonsert i Logens store sal med orkester, kor og solister, bl.a. i deler av hans nettopp fullførte opera Stig Hvide (oppr. tittel Marsk Stig). Han skrev selv librettoen til denne og sine øvrige operaer. Samme år ble han dirigent for et av hovedstadens beste kor, Haandverkersangforeningen, en stilling han hadde til 1881. Noen av hans mest populære komposisjoner er for kor.
På Griegs anbefaling fikk Olsen høsten 1877 dirigentstillingen i Musikforeningen etter Johan Svendsen. Han dirigerte to konserter første sesong og fire hver av de neste frem til våren 1880 og fremførte for første gang i Norge mange av datidens nye komposisjoner. Kritikkene var gode, selv om orkesteret til tider var vanskelig å få til å fungere, og prøvene var få.
1879 giftet han seg med pianofabrikant Karl Hals' datter, reiste på studietur, besøkte Leipzig og Köln og dirigerte bl.a. Asgaardsreien med stor suksess. Olsen var svært sosial, og samværet med datidens største kulturpersonligheter (Bjørnson, Grieg m.fl.) i Hals' hjem hadde stor betydning for ham. Han hadde også arvet farens sans for rim og regler og var selv ivrig versemaker og muntrasjonsråd.
Høsten 1880 reiste han igjen utenlands, og med korte avbrudd varte reisen denne gangen i to år. Han gjorde stor lykke i Köln og Wien, særlig med symfonien, Asgaardsreien og scenemusikken til Kong Erik XIV. Flere av hans store verker ble trykt i utlandet. Han dirigerte også konserter med sin musikk i København (1886) og Berlin (1891) og var representert på musikkfesten i Stockholm 1897 og Bergen 1898. 1894 og 1896 holdt han egne konserter i Kristiania.
Operaen Lajla (1893) ble oppført i Kristiania 1908/09. Mottakelsen var god, og komponistens lokalkoloritt (Finnmark), dramatiske evne, orkestrering og melodikk ble fremhevet. Operaen Stallo, ferdig 1899, også den med handling fra Finnmark, fikk sin første oppførelse i Kristiansund 2002. Klippeøerne (1919) (ikke fremført) mente han selv var den beste, mens hans musikk til eventyrkomedien Svein Uræd (1889) slo best an i samtiden. Solefaldssang derfra fremføres fortsatt. Og i ettertid er det hans sjarmerende piano-suite op. 50 som har vunnet størst popularitet.
Mange av Olsens komposisjoner er bestillingsverk, f.eks. til Holbergfesten 1884, Hammerfest byjubileum 1889 (kantater) og Trondheims 900-årsjubileum 1897 (oratorium). Han var også en ivrig deltaker i kultur- og musikkdebatter. Som komponist kom han i skyggen av de største og kjempet hele sitt liv for å bli nevnt i samme åndedrag som Grieg og Svendsen. Hans beste ting fortjener større utbredelse, og i tiden rundt 150-årsjubileet ble dette markert bl.a. med flere nyfremførelser.
1884 ble Olsen instruktør for 2. brigades musikkorps (nå Forsvarets Stabsmusikkorps, Oslo) og 1899 Norges første armémusikkinspektør med faglig ansvar for de militære musikkorps. Olsen forbedret korpsets kvalitet og styrket den norske andelen av repertoaret, var selv svært aktiv som komponist/arrangør og ble mest kjent for å ha hentet frem Gammel Jægermarsch (1888) og for sine tre hefter med marsjer basert på gamle stev og melodier fra forskjellige distrikter (1922). Han arbeidet aktivt mot den alltid truende nedlegging av militærmusikken, også etter at han for lengst hadde gått ut av aktiv tjeneste. Med sitt joviale, folkelige gemytt var han også et ivrig medlem av forskjellige organisasjoner, Kunstnerforeningen helt fra 1874, og i flere år formann i Nordlændingernes forening. Hans æresmedlemskap og ordener var mange. Han døde i sitt hjem i Sandvika i Bærum 1927.