Kleiber hudbu studoval v Buenos Aires, kam rodina ve třicátých letech emigrovala z Německa. Od poloviny padesátých letech začala jeho strmá mezinárodního kariéra, která ho mimo jiné zavedla roku 1958 i na Pražské jaro. V letech 1968 až 1973 působil v mnichovské Bavorské státní opeře.
Velké úspěchy slavil zvláště ve Vídni, kde dvakrát, v letech 1989 a 1992, dirigoval i proslulé novoroční koncerty s Vídeňskými filharmoniky. Roku 1994 nastudoval ve Vídeňské státní opeře Straussova Růžového kavalíra. Ceny vstupenek na černém trhu tehdy údajně vyletěly do padesátinásobné výše.
Kleibera provázela pověst geniálního dirigenta-hypnotizéra, ale také nevyzpytatelného, složitého a extravagantního člověka, který nečekaně odříká koncerty, dlouhé roky tráví v nečinnosti, vystupuje jen sporadicky, má omezený repertoár a neváhá provokovat pěvecké hvězdy i hudebníky štiplavými poznámkami.
Za čtyřicet let neposkytl jediné interview, nešéfoval žádnému orchestru, neměl žádného agenta, zanechal pouze hrstku nahrávek.
Často na dlouhé měsíce zmizel v jugoslávských horách. Příznačná byla Carlosova reakce na nabídku, aby se po smrti Herberta von Karajana stal šéfdirigentem Berlínské filharmonie. Odmítl tehdy se slovy: „Diriguji pouze tehdy, když mám hlad.“