Brown zahájil svou kariéru v New Yorku, kam se přistěhoval v roce 1945. V dalších dvou letech hrál v Gillespieho big bandu. Byl jedním z hudebníků, kteří formovali jazzový styl be-bop, a s Gillespiem hrál v roce 1946 ve filmu "Jivin' in Be-Bop". Koncem 40. let si vzal Ellu Fitzgeraldovou, s níž pracoval i po rozvodu.
"Ray hrál s ohromnou silou, měl skvělé hudební vzdělání a tu nejfantastičtější techniku," řekl jeho přítel a bubeník Frank Capp.
Začátkem 50. let byl zakládajícím členem tria pianisty Oscara Petersona, které patřilo v 50. a 60. letech k nejpopulárnějším jazzovým formacím. V té době pravidelně obsazoval první místo v anketách o nejlepšího jazzového kontrabasistu. S Petersonem zůstal Brown až do roku 1966, kdy se odstěhoval do Kalifornie a podílel se na založení skupiny L.A. Four.
Raye Browna můžeme slyšet hrát na více než dvou tisících nahrávkách, což z něj dělá jednoho z nejvíce nahrávaných umělců v dějinách hudby
- středa 3. července 2002