Niższa (47 m) i bardziej przysadzista 6-boczna wieża zwana jest Babą, druga wieża jest wyższa (57 m) i smuklejsza, stąd nazwa Panna jest dla niej jak najbardziej odpowiednia
. Właśnie Pannę podziwiamy sobie ze schodków wiodących na Babę...
Z wieżami związana jest legenda...
W zamku mieszkala stara pani Markéta z Bergova z prześliczą wnuczką o imieniu Barbora. Babka była husytką, a młode dziewczę katoliczką. Obie nie znosiły się wzajemnie i często się kłóciły (zwłaszcza o to, która ma rządzić zamkiem pod nieobecność jego właściciela), przesiadując na szczytach "swoich" wież. Krzyczały do siebie tak zajadle, że słychać je było w całej okolicy. Służba zamkowa, nie mogąc wytrzymać ciągłych kłótni, pouciekała. Ptaki przestały krążyć nad hałaśliwym zamkiem, nawet słońce nie chciało świecić nad wieżami...
Tymczasem pan z Bergowa o niczym nie wiedząc, nie kwapił się z powrotem...
Po pewnym czasie straszne krzyki i kłótnie ustały, jeden z wieśniaków wybrał się do zamku, aby sprawdzić co się stało. W grubszej wieży nie znalazł tu nikogo, tylko okno otwarte na oścież. To samo zobaczył w wyższej wieży. Gdzie się podziały obie kobiety, tego nie wie nikt do dziś...
Dowiedziawszy się o zniknięciu hałaśliwych kobiet, ludzie zaczęli powracać do swych domów, a wieżom nadali imiona ich kłótliwych mieszkanek.
Pomiędzy wieżami mieszkalnymi ciągnie się wysoki mur obronny - jego wysokość sięgała 10-15 m, grubość 1,5-2 m. Warownię otaczały trzy pierścienie murów z kilkoma bramami, dość dobrze zachowanymi do dziś. Północna ściana muru z obronnymi nadbudówkami na zboczu pod niższą wieżą zapewniała kontrolę nad dostępem do zamku. Tędy wiodła bowiem droga dojściowa, prowadząca wokół skał i muru do pierwszej bramy. Następnie przechodziła obok warowni i budynku gospodarczego do drugiej gdzie znajdowały się inne budynki gospodarcze przylegające do południowej części muru zamkowego.
Na pierwszym dziedzińcu znajdowała się studnia gł ebokości 30 m, a na Pannie w skałach były cysterny na deszczówkę.
W miejscu dzisiejszych schodów na Babę stał drewniany pałac, przez który wchodziło sie do górnego, głównego kamiennego 4-piętrowego pałacu, skąd było wejście na Babę. Część reprezentacyjna zamku znajdowała się pod Panną.
Pod Troskami znajduje się ponoć tajne przejście, które wykorzystywano podczas oblężenia zamku. Prowadzić ono miało do położonego na wschód od zamku skalenego labirynty Apolena. Prawdopodobnie pod zamkiem znajdowało się podziemne jeziorko - zapas wody dla grodu. Jedna z leged głosi, że tajne przejście powadzi do żelaznych drzwi, za którymi po dziś dzień leżą skarby zgriomadzone tam przez rycerzy-rabusiów...