Na hudební scénu vstoupil Herb Cohen už v pozdních 50. letech, kdy v kalifornských klubech a kavárnách začal pořádat koncerty prvních folkových písničkářů v čele s Petem Seegerem a Odettou.
V následujících desetiletích manažoval řadu hudebníků různých stylů, od bluesmana Screamin' Jaye Hawkinse přes folkaře Tima Buckleyho, funkera George Dukea, country zpěvačku Lindu Ronstadt až po rockera Alice Coopera.
Herb Cohen produkčně zajišťoval japonská a americká turné umělců, zaštiťovaná švýcarským Montreux Jazz Festivalem a měl na starosti americkou účast na monstrkoncertě k propuštění Nelsona Mandely, který se odehrál v roce 1990 v londýnském Wembley.
Nejvíce se však Herb Cohen proslavil jako manažer Franka Zappy a jeho kapely Mothers Of Invention, kterým byl deset let od roku 1965. Zajistil skupině první nahrávání, debutové album Freak Out!, považované za jednu z nejlepších rockových nahrávek 60. let, vyšlo v roce 1966.
V prvních letech kariéry se také postaral o písničkáře Toma Waitse. Byť jeho pokus koncertně jej spojit se Zappou nevyšel a o nenávistných reakcích Zappových fanoušků na bloky Toma Waitse s vizáží i zvukem barového pianisty se vyprávějí legendy, pomohl Cohen Waitsovi ke smlouvě s vydavatelstvím Asylum a k debutovému albu Closing Time (1973).
