Az 1929-ben Berlinben Johannes Nikolaus de la Fontine d’Harnoncourt–Unverzagt néven született barokk specialista egy Graz környéki kastélyban nőtt fel, majd Emanuel Brabecnél tanult csellózni. 1952 és 1969 között a Bécsi Szimfonikusok tagja volt, 1953-ban feleségével megalapította a Concertus Musicus Wien nevű zenekart, amellyel egy csapásra a figyelem középpontjába került. Harnoncourt ugyanis írásos forrásokra támaszkodva a régi zene lehető legautentikusabb előadásmódjára törekedett. A  Concertus Musicus-nak a Schwarzenberg palotában évente megtartott koncertjeit a kritikusok nem fogadták kitörő lelkesedéssel, előadásmódját és a hangversenyeket megelőző intenzív kutatómunkát „bölcsész felfogásával” magyarázták.
A nagy áttörést és a szélesebb ismertséget az 1960-tól folyamatosan kiadott lemezei hozták meg. A sikert a Bach művek, a h-moll mise, a kantáták, a híres Monteverdi ciklus és végül a Mozart operák újszerű értelmezése hozta meg a művésznek. Karmeseteri karrierje 1970-ben kezdődött, olyan városok operaházaiban fordult meg, mint Milánó, Zürich, Amsterdam, Hamburg, Frankfurt és Bécs, a repertoárja pedig Monteverditől Straussig terjed.
Ausztriában különösen népszerű, tanít a salzburgi Mozarteumban, 1985 óta a Grazi Ünnepi Játékok állandó vendége. De a legjobban talán két évvel ezelőtt lopta be magát az osztrákok szívébe, amikor hatalmas sikerrel vezényelte a népszerű bécsi Újévi Koncertet.
Annak ellenére, hogy az általa képviselt stílust nem minden kritikusa szereti, szakmai sikereihez nem fér kétség, sőt: sokan korunk legjelentősebb karmesterének tartják. 
Harnoncourt éppen az idei, 2002-es Budapesti Tavaszi Fesztiválon varázsolta el a magyar közönséget is: Mozart és Haydn műveiből válogatta a hangverseny anyagát, a koncerten a szintén nagy népszerűségnek örvendő Arnold Schönberg Kórus működött közre.