Elgort se narodil na Manhattanu, New Yorku, USA. Jeho otec Arthur Elgort pracoval pro Vogue více než 30 let jako módní fotograf a jeho matka Grethe Barrett Holba je režisérka. Otec má ruské židovské předky a matka má anglické, německé a norské kořeny. Jeho babička z matčiny strany se účastnila během druhé světové války norského odboje a zachránila norské židovské děti jejich přesunutím do neutrálního Švédska. Kvůli jejmí aktivitám byla uvězněna v koncentračním táboře.

Elgort má dva starší sourozence, Warrena a Sophii. Když měl 9 let, matka ho zapsala do School of American Ballet. Navštěvoval The Professional Performing Arts School, Fiorello H. LaGuardia High School a letní tábor Stagedoor Manor. Když měl 12 let, začal navštěvovat hodiny herectví a svou hereckou kariéru začal ve středoškolských divadelních představeních Guys and Dolls a Hairspray. Objevil se i ve hře Regrets od Matta Charmana.

Pod jménem "Ansolo" si vytvořil účet na SoundCloud, kde zveřejňoval elektronickou taneční hudbu a remixoval hudbu jako například "Born to Die" od Lany del Rey. V únoru 2014 prohlásil, že podepsal nahrávací smlouvu se Staar Traxx a Steve Angello.

Jeho první skladba "Unite" byla vydána 21. dubna 2014 prostřednictvím Beatport a 5. května 2014 na iTunes. Druhá skladba "Totem" byla vydána 21. července 2014 na Beatport a iTunes. Jeho singl "To Life" vyšlo v září 2015.

V roce 2015 podepsal nahrávací smlouvu s Island Records a v červenci 2016 vydal singl s názvem "Home Alone".

Dne 3. února 2017 vydal pod jménem Ansel Elgort nový singl s názvem "Thief". Ve videoklipu se objevila jeho současná přítelkyně, baletka Violetta Komyshan.

V roce 2012 začal Elgort chodit se svou spolužačkou ze střední školy Violettou Komyshan. Pár se rozešel v srpnu 2014 kvůli hercově rostoucí kariéře a hektickému rozvrhu, ale po 5 měsících od rozchodu se dali opět dohromady.