Narodil se v Belleville, Illinois jako syn Judy Lea a Johna Dale Sarsgarda. Jeho otec byl leteckým inženýrem leteckých sil Spojených států a později pracoval pro společnosti Monsanto a IBM. Jeho jméno pochází z Dánska, kde se narodili jeho předci. Byl vychován v římsko-katolické víře. Vzhledem k povaze otcovy práce se jeho rodina stěhovala více než 12krát.

Ve věku sedmi let se Sarsgaard původně chtěl stát fotbalovým hráčem a začal se věnovat baletu, aby zlepšil svou motorickou koordinaci. Po několika zraněních při hraní fotbalu se vzdálil sportu a začal se zajímat o psaní a divadlo. Navštěvoval soukromou jezuitskou školu pro chlapce na Fairfield College Preparatory School v Fairfieldu v Connecticutu, kde se zajímal o filmy. Poté dva roky studoval na Bard College v New Yorku, poté přesedlal na Washingtonskou univerzitu v St. Louis, kde spoluzaložil improvizační skupinu "Mama Pot Roast".

John Peter Sarsgaard debutoval na filmovém plátně v kriminálním dramatu Mrtvý muž přichází (1995). Později hrál ve snímcích jako Muž se železnou maskou (1998), Kluci nepláčou (1999), Salton Sea (2002), K-19: Stroj na smrt (2002), Impérium (2002), Procitnutí v Garden State (2004), Bavme se o sexu (2004), Tajemný let (2005), Mariňák (2005), Unesený (2007), Umírající zvíře (2008), Škola života (2009), Sirotek (2009), pohřbila hříchy (2009), Zatím spolu, zatím naživu (2010), Lovelace: Pravdivá zpověď královny porna (2013), Jasmíniny slzy (2013), Tah pěšcem (2014), Black Mass: Špinavá dohoda (2015) nebo Sedm statečných (2016). V roce 2004 si vysloužil nominaci na Zlatý glóbus za vedlejší roli v dramatu Shattered Glass (2003).