Narodil se v kalifornském San Diegu. Jeho otcem byl William Howard Duvall, bývalý generál amerického námořnictva s francouzskými kořeny, matkou byla amatérská herečka, potomek jižanského generála Roberta E. Leeho. Duvall otec byl metodista, matka byla příslušnicí náboženského hnutí Křesťanská věda, v jehož víře byl vychován i malý Robert. Dodnes se k tomuto hnutí hlásí, ačkoli, jak sám uvádí, velkou část života nepřežil právě v křesťanském duchu. Vyrůstal v značně vojensky zaměřené rodině, jistou dobu žil v Marylandské Annapolisu, v blízkosti Námořní akademie Spojených států. V armádě sloužil pod číslem 52 346 646 od 19. srpna 1953 do 20. srpna 1954, dosáhl hodnosti Private First Class a získal ocenění National Defense Service Medal. Herectví vystudoval na The Neighborhood Playhouse newyorské School of Theatre pod dohledem Sanforda Meisnera. Má hvězdu na Hollywoodském chodníku slávy. Jeho debutem se stala role Boo Radleyho v kritikou oceněném filmu Jak zabít ptáčka (1962), ale opravdového úspěchu se dočkal až ztvárněním postavy Toma Hagena v Kmotrovi (1972) a Kmotrovi II. (1974).