Ray Milton Dolby se narodil v Portlandu, ale vyrůstal v San Francisku. Jeho otec, Earl Milton Dolby, byl také vynálezce. Už jako student pracoval v roce 1949 na vedlejší úvazek ve společnosti Ampex v Redwood City, kde pracoval s jejich prvním magnetofonem a pomáhal při vývoji záznamu videa na pásku. Byl studentem a bez titulu, jeho funkce byla jen "poradce", ale Dolby sehrál klíčovou roli v úsilí, které dovedlo Ampex k prototypu kvadruplexného videorekordéru v dubnu 1956 a jeho výrobě.

V roce 1957 Dolby získal titul bakaláře elektrotechniky na Univerzitě ve Stanfordu. Zároveň vyhrál Marshallův školní pohár a titul Ph.D. (Doktor fyziky) získal v roce 1961 na Univerzitě v Cambridge.

Dolby působil jako technický poradce OSN v Indii až do roku 1965, kdy se vrátil do Anglie.

V Londýně v roce 1967 založil spolu se svým bratrem Dalem společnost Dolby Laboratories pouze se čtyřmi zaměstnanci. Ve stejném roce oficiálně vynalezl / vyvinul Dolby Sound System a elektronický filtr, ačkoli jeho první americký patent byl zapsán až o čtyři roky později.

Později v roce 1976 se přestěhoval i s firmou zpět do Spojených států do Kalifornie. Prvním produktem Dolby Labs bylo zařízení Dolby 301 s redukcí šumu typu A. Následoval typ B a celou řadu dalších technologií, které nesly společné označení Dolby.

Dolby působil i jako prezident Společnosti zvukového inženýrství (AES).

Na sklonku svého života trpěl Alzheimerovou chorobou, ale zemřel na leukémii, 12. září 2013 ve svém domě v San Francisku ve věku 80 let.