Il Castellaccio non è, come molti erroneamente credono, il Torrione rosso che si può vedere verso nord, appena arrivati al Righi. Questo è in realtà Torre Specola, rinchiusa entro la stesa cinta insieme al Forte Castellaccio
Torre Specola, rosso edificio in mattoni dalle forme singolari individuabile da molte zone della città, è stata innalzata sullo sperone roccioso dove, fin dal XVI secolo, erano eseguite le condanne a morte.
La Torre fu edificata fra il 1817 ed il 1825, ideata inizialmente come elemento di difesa autonomo e distinta col nome di Forte Specola; aveva un proprio recinto ed una sua piazza d'armi.
È una massiccia piramide tronca a otto facce, raccordate tra di loro in maniera anomala. Le quattro facce lato mare sono coronate da altrettante caditoie “zoomorfe”; al centro di ognuna si apre una cannoniera, con due feritoie per lato e soprastanti finestrelle per lo smaltimento dei fumi di sparo.
Nelle rimanenti facce, si ripete il motivo delle cannoniere, ma non quello delle feritoie. La Torre, nella prima metà dell’ottocento poteva acquartierare stabilmente 60 uomini su letto, ai quali se ne potevano aggiungere, in caso di necessità, altri 120, da ospitare “paglia a terra”. La sua dotazione d’artiglieria era di 24 pezzi, in otto calibri diversi.
Tra il 1830 ed il 1836, durante la realizzazione della nuova caserma del Forte Castellaccio, le due opere furono inglobate all'interno di un'unica cinta bastionata, accessibile tramite un ponte levatoio.
Il portale d'accesso della Specola, oggi tappato da un brutto casotto in muratura, era in origine preceduto da una scalinata. L'interno è su due piani, più un sotterraneo con cisterna. La struttura è sorretta da sei grossi pilastri portanti: la ripida scala di servizio è ricavata in uno di essi. I vani principali del piano terra, pavimentati con lastroni di pietra, sono dotati di volte a crociera. Nel primo piano, lastricato originariamente in mattoni, al centro delle due volte principali si notano i fori per facilitare l'evacuazione dei fumi di sparo, comunicanti con il soprastante terrazzo. Questo presentava in origine un rivestimento in mattoni.
Fra il 1875 ed il 1940, da una casamatta posta sull'angolo delle mura esterne, a mezzogiorno esatto era sparato un colpo di cannone con funzione di “segnale orario”. Il cosiddetto "cannone di mezzogiorno" era così famoso che l'attore Gilberto Govi volle ricordarlo nel film "Colpi di timone". La tradizione cessò col dopoguerra.
Torre Specola è rimasta in concessione all'Istituto Idrografico della Marina fino agli anni '90. Al momento, le strutture non sono utilizzate, né visitabili.