Como muchas poblaciones de la costa, Cadaqués tuvo un baluarte de defensa contra las incursiones enemigas. La torre, al ser más cilíndrica, de Sa Fusta, formaba parte de este baluarte y de las murallas que la protegían.
Era una torre de defensa y vigilancia construida en el siglo XIII, que se alzaba sobre las rocas y controlaba toda la bahía. Protegió Cadaqués, sobre todo, de los ataques piratas del siglo XV i XVI, como los hermanos famosos Barbarroja que en 1543 incendiaron la villa. Los piratas atacaban de noche, saqueaban y quemaban las casas, y capturaban a la población para pedir rescate o venderla como esclava.