Larmet kom strax före klockan 16 lokal tid. Londons brandförsvar uppger på sin hemsida att 20 brandbilar och 125 brandmän larmades till byggnaden, som ligger intill tunnelbanestationen Aldgate East.
Enligt myndigheten användes en stegbil med en 64 meter hög stege, Europas högsta, i släckningsarbetet.
Polisen stängde i samband med branden av gatan nedanför sedan stora glasskärvor lossnat från byggnaden och störtat ner i marken.
Videoklipp som delats i sociala medier visar öppna lågor och kraftig rökutveckling.
Strax före klockan 20 lokal tid uppgav Londons brandförsvar att branden var under kontroll.
Sammanlagt 60 personer fick evakueras, men det finns inga uppgifter om personskador. Brandorsaken är under utredning.