Diggs se narodil v Newarku v New Jersey a vyrůstal v Rochesteru v New Yorku. Jeho matka Marcia je učitelkou a herečkou a jeho otec Andre Young je vizuální umělec. Když byl dítě, jeho matka si vzala Jeffriese Diggse, jehož příjmení Taye převzal. Je nejstarší z pěti dětí. Má dva bratry, Gabrielu a Michaela a dvě sestry. Navštěvoval školu Allendale Columbia v Rochesteru a později přešel do školy umění. V roce 1995 působil také jako tanečník v karibském karnevalu Sebastian v Tokiu Disneyland.