Původně studoval operu, pak se uplatnil v divadelních muzikálech a postupně se začal objevovat v televizních seriálech včetně krimi s detektivem Columbem nebo špionážního cyklu Mission: Impossible.
Brzy se zavedl jako komediální herec, což prokázal jako John Van Horne, představitel seriálového lékaře, který ve filmu Tootsie vytváří protějšek ženské role Dustina Hoffmana.
Na vrchol popularity jej přivedla Policejní akademie, do níž její hrdina Eric Lassard nastoupil v roce 1984. Poté, co o deset let později filmovou sérií prošel až do sedmého dílu, se ve stejné roli objevil ještě v její televizní verzi.
Zahrál si také profesora ve Fantastické čtyřce či senátora ve Vrtěti psem, svůj hluboký hlas Gaynes často propůjčoval animovaným postavám. S herectvím se rozloučil ve svých 86 letech úlohou kněze ve filmu Líbánky.
