Fortezza została wybudowana w XVI wieku na szczycie wzgórza Paleokastro.
Budowa twierdzy była konieczna, aby bronić się przed zagrożeniem tureckim oraz piratami.
Ówcześni włodarze miasta uzmysłowili sobie tę konieczność, gdy w roku 1571 na Rethymno napadł turecki korsarz Ulu Ali Reis, przypływając do niego 40 galerami. Okazało się, że mury obronne miasta, których budowa według planów werońskiego architekta Michele Sanmicheli trwała przez 30 lat (od roku 1540 roku do 1570 roku), nie sprostały zadaniu obrony dla miasta.
Podczas ataku tureckiego korsarza Wenecjanie opuścili miasto, pozostawiając w nim jedynie około 100 obrońców. Nie byli oni w stanie długo się opierać, więc Ulu Ali Reis z łatwością ich pokonał a następnie zrównał miasto z ziemią. Dziś z murów miejskich pozostała jedynie jedna brama. Reszta została rozebrana i wykorzystana przy odbudowie miasta.
Te wydarzenia poskutkowały budową skuteczniejszych fortyfikacji, czyli Fortezzy.
Fortezza jest jednym z największych i najbardziej kompletnych dzieł fortyfikacyjnych zbudowanych na Krecie pod panowaniem Wenecji.
Kamień węgielny został położony w dniu 13 września 1573 roku przez weneckiego rektora Alvise Lando. Budowę ukończono w 1580 roku. W obowiązkowych pracach budowalnych brało udział 107142 Kreteńczyków. Do pracy przy budowie zarekwirowano 40205 jucznych zwierząt. Prace wykonywano pod kierunkiem mistrza budowlanego Giannisa Skordilisa .
Fortezzę zbudowano zgodnie z systemem fortyfikacji bastionowych. Bastiony połączone są prostymi odcinkami grubego muru kurtynowego, który nachylony jest na zewnątrz, aby odbijać pociski wroga bez uszkadzania twierdzy. Przy budowie wykorzystano oryginalne plany inżyniera wojskowego Sforzy Pallaviciniego, które tylko w niewielkim stopniu zmodyfikowano.
Ale Fortezza nie była szczególnie bezpieczną fortecą. W oficjalnym raporcie z 1602 roku jest mowa o różnych jej wadach.
Fortezza także się nie spełniła swego zadania, bo w roku 1646 Rethymno zostało zdobyte przez Turków osmańskich.
Na terenie twierdzy Wenecjanie wybudowali wiele budynki o różnym przeznaczeniu, między innymi był tam arsenał, magazyn amunicji, pałac weneckiego gubernatora czy katedra San Nicholas. Turcy po zajęciu Fortezzy nie zmienili znacząco jej układu. Przekształcili jedynie katedrę San Nicholas w meczet sułtana Ibrahima Hana oraz wybudowali kolejne domy dla tureckiego garnizonu i administracji.
Do pierwszej połowy XX wieku znajdujące się we wnętrzu Fortezzy budynki mieszkalne były zamieszkane. Po II wojnie światowej ich mieszkańcy zaczęli wyprowadzać się z Fortezzy do innych części miasta a pozostawione przez nich zrujnowane budynki zostały zburzone.
Zewnętrzne fortyfikacje Fortezzy są zachowane do dziś w nienaruszonym stanie.
To plan Fortezzy, z którego korzystaliśmy podczas zwiedzania.