I nær tilknytning til Håkonshallen ligger Rosenkrantztårnet, som regnes som det viktigste renessansemonumentet i Norge. Deler av tårnet er fra 1270-årene, men tårnet er påbygget flere ganger som forsvarsverk og maktdemonstrasjon overfor egenrådige hanseatiske handelsmenn. Gjennom smale, dunkle trappeganger kan man klatre helt opp på taket, hvor utsikten fortsatt er imponerende.
Tårnet var residensen til kong Eirik Magnusson fram til han døde i 1299. Han var den siste kongen med sete i Bergen. Senere fikk tårnet mindre godt stilte beboere – i kjelleren ligger det beryktede fangehullet, som antagelig var i bruk fra slutten av 1400-tallet til et stykke ut på 1800-tallet.