Tři z popravených ovšem byly královny. Kromě Boleynové i další žena Jindřicha VIII. Kateřina Howardová a ještě mladičká lady Jane Greyová, která usedla na trůn na pouhých devět dní.
Celami pevnosti prošli od 12. století také královna Anna Boleynová, německý nacistický pohlavár Rudolf Hess, filozof Thomas More, královna Alžběta I. i posádky několika německých ponorek i pár německých pilotů zajatých za druhé světové války.
Historie Toweru jako vězení není jen smutnou historií mučení, justičních vražd a nevysvětlených zmizení. Jsou v ní i bankety, knihy napsané v celách a dokonce výpravy do okolí na lov.
Objevitel sir Walter Raleigh strávil na hradě nedobrovolně 13 let, kdy zde s ním bydlela jeho žena a děti. Vězeň Raleigh si zde dokonce pěstoval vlastní tabák a napsal ve vězení Historii světa.
Vévodkyně ze Somersetu si i v Toweru dopřávala v roce svého uvěznění 1551 pravé hody a stoly se prohýbaly pod zvěřinou a zeleninou, které hojně zalévala pivem a vínem.
Guy Fawkes, který proti králi připravoval spiknutí, jehož neúspěch se v Británii dodnes oslavuje, ovšem během několika dní v Toweru prožil kruté mučení a byl pak brutálně a veřejně popraven v londýnském Westminsteru.
