Na funkci generálního tajemníka ho navrhla Bezpečnostní rada OSN 13. prosince 1996, o čtyři dny později ho Valné shromáždění OSN na funkci potvrdilo. Jeho první funkční období začalo 1. ledna 1997. Druhé funkční období začalo 1. ledna 2002.

V roce 2001 dostala OSN a Annan Nobelovu cenu za mír za "práci za lepší organizovaný a mírovější svět". Roku 2003 získal Sacharovovu cenu za svobodné myšlení.

V letech 2004/05 ho kritizovali za nedostatečný dozor a pomalou reakci na rozsáhlý korupční skandál v OSN během jejího programu "Ropa za potraviny", který započal za vedení jeho předchůdce Butruse Butruse-Ghálího.