Az 1929-ben Berlinben Johannes Nicolaus de la Fontine d'Harnoncourt-Unverzagt néven született barokk specialista egy Graz környéki kastélyban nőtt fel, majd Emanuel Brabecnél tanult csellózni. 1952 és 1969 között a Bécsi Szimfonikusok tagja volt, 1953-ban feleségével megalapította a Concertus Musicus Wien nevű zenekart, amellyel egy csapásra a figyelem középpontjába került. Harnoncourt ugyanis írásos forrásokra támaszkodva a régi zene lehető legautentikusabb előadásmódjára törekedett. A zenekar Palais Schwarzenbergben évente megtartott koncertjeit a kritikusok nem fogadták kitörő lelkesedéssel, előadásmódját és a hangversenyeket megelőző intenzív kutatómunkát "bölcsész felfogásával" magyarázták.
A nagy áttörést és a szélesebb ismertséget az 1960-tól folyamatosan kiadott lemezei hozták meg. A sikert a Bach művek, a h-moll Mise, a Kantáták, a híres Monteverdi ciklus és végül a Mozart operák újszerű értelmezése hozta meg Harnoncourt-nak. Karmesteri karrierje 1970-ben kezdődött, olyan városok operaházaiban fordult meg, mint Milánó, Zürich, Amsterdam, Hamburg, Frankfurt és Bécs, a repertoárja pedig Monteverditől Straussig terjed.
Ausztriában különösen népszerű, tanít a salzburgi Mozarteumban, 1985 óta a Grazi Ünnepi Játékok állandó vendége. De a legjobban talán két évvel ezelőtt lopta be magát az osztrákok szívébe, amikor hatalmas sikerrel vezényelte a népszerű bécsi Újévi Koncertet.
Annak ellenére, hogy az általa képviselt stílust nem minden kritikusa szereti, szakmai sikereihez nem fér kétség, sőt sokan korunk legjelentősebb karmesterének tartják.
Harnoncourt a 2002-es Budapesti Tavaszi Fesztiválon varázsolta el a magyar közönséget: Mozart és Haydn műveiből válogatta a hangverseny anyagát, a koncerten a szintén nagy népszerűségnek örvendő Arnold Schönberg Kórus működött közre.