Na počátku své profesionální kariéry dělal různé odborné činnosti v oblasti vzdělávání dospělých, styků s veřejností a řízení projektů. V letech 1991 až 1999 zastával velké množství funkčních míst SPD, například byl členem okresního výkonného výboru Westliches Westfalen. Od roku 1978 byl členem představenstva SPD Dortmund, od roku 1991 do roku 1999 jeho předsedou. Jeho politická kariéra pokračovala v členství ve výkonném výboru NRD, v regionální radě a jako místopředseda federální strany SPD. Nakonec se stal předsedou skupiny SPD v Evropském parlamentu. Rapkay je momentálně členem Evropského parlamentu