Griffin se narodil v roce 1928 v Chicagu, kde také vystudoval a začala jeho kariéra. Debutoval v roce 1945 nahrávkou s Lionelem Hamptonem. Stal se pak hvězdou kultovní společnosti Blue Note.
Počátkem 60. let se přestěhoval do Francie a hodně koncertoval v evropských zemích. V roce 2007 exceloval v Praze v cyklu Jazz na Hradě.
Od počátku se řadil mezi velké tenorsaxofonisty, reputaci si získal zvláště svými bravurními improvizacemi. Kvůli drobné postavě a skvělému umění se mu přezdívalo The Little Giant (Malý obr).
Mezi jeho nejvýznamnější díla patří album A Blowing Session z roku 1958, které nahrál s Johnem Coltranem, bubeníkem Artem Blakeyem a dalšími.
Griffin má čtyři děti, z nichž jedno žije ve Francii a další v USA.
