Foi aqui que, em 1467, se estabeleceu definitivamente Joss van Hurtere, fundando a povoação “de Horta”. Na enseada de Porto Pim, um porto natural por excelência, era o local por onde se faziam as cargas e descargas dos barcos.
A Ermida de Santa Cruz foi o primeiro edifício religioso da ilha. Em memória do desembarque dos primeiros povoadores. Nela foram sepultados Joss de Hurtere, e sua esposa, D. Beatriz de Macedo. No testamento de D. Beatriz de Macedo, falecida a 1531, manda fazer provisão para “se fazer a dita Igreja de Santa Cruz e a dita casa para um capelão.” (Ref.a Tombo da Misericórdia da Horta, Livro 1) Frei Diogo de Chagas, em 1643, diz que a ermida ou capela”que hoje não está de pé mais”. (“Espelho Cristalino”, Cap. 13)
A Ermida de Santa Bárbara é fundada pelo flamengo Pêro Pasteleiro, e sua mulher, Madalena da Rosa. Derrubada por um sismo em 1850, foi logo reconstruída tal como hoje a conhecemos, às custas de alguns devotos.
Data de 1567, o início da construção do Forte de Santa Cruz, a principal defesa da ilha. A sua fortificação, conventos e igrejas são vítimas de saque por parte de corsários ingleses em 1589 e 1597, sendo que em 1597, acaba também por ser incendiada. No início do Século XVII, são construídos o Portão de Mar de Porto Pim, o Forte de São Sebastião, o Fortim da Greta (de que restam vestígios) e o Fortim de Nossa Senhora da Guia (de que restam vestígios).