Narodil se v Los Angeles jako Juan Vincent Apablasa a španělština, kterou uměl díky svým předkům, mu později pomohla i ve vysněné diplomatické kariéře. Za prezidentské éry Ronalda Reagana se totiž Gavin stal americkým velvyslancem v Mexiku.
Nejprve vystudoval dějiny a ekonomiku, bojoval v korejské válce a když se pak zúčastnil kamerových zkoušek, studio Metro-Goldwyn-Mayer hledající nové nástupce stárnoucích hvězd rozhodlo, že vysoký, tmavý a pohledný Gavin bude „příštím Rockem Hudsonem“.
Debutoval roku 1956 ve filmu Za vysokou zdí, jeho nejslavnější okamžik však přišel čtyři roky poté, kdy hrál Sama Loomise v díle Alfreda Hitchcocka Psycho i Julia Caesara ve snímku Stanleyho Kubricka Spartakus. „Netušil jsem, že se z obou filmů stane klasika. Jinak bych jim věnoval více pozornosti,“ řekl po čase.
V roce 1971 se schylovalo k vrcholu jeho dráhy, producenti bondovské série totiž oznámili, že Gavin nahradí George Lazenbyho v roli agenta 007 ve filmu Diamanty jsou věčné. Ovšem na poslední chvíli se k postavě vrátil Sean Connery, takže Gavin přišel o šanci; přesto mu studio vyplatilo plný honorář.
Skoro dvoumetrový krasavec hrál po boku Sophie Lorenové, Doris Dayové, Lany Turnerové a jiných hvězd, Poté se věnoval politice a podnikání, ale několik let ještě vedl profesní organizaci amerických herců a příležitostně se před kameru vracel, třeba v hororech Jennifer a Dům stínů.
