Foi aqui que, em 1467, se estabeleceu definitivamente Joss van Hurtere, fundando a povoação “de Horta”. Na enseada de Porto Pim, um porto natural por excelência, era o local por onde se faziam as cargas e descargas dos barcos.
A Ermida de Santa Cruz foi o primeiro edifício religioso da ilha. Em memória do desembarque dos primeiros povoadores. Nela foram sepultados Joss de Hurtere, e sua esposa, D. Beatriz de Macedo. No testamento de D. Beatriz de Macedo, falecida a 1531, manda fazer provisão para “se fazer a dita Igreja de Santa Cruz e a dita casa para um capelão.” (Ref.a Tombo da Misericórdia da Horta, Livro 1) Frei Diogo de Chagas, em 1643, diz que a ermida ou capela”que hoje não está de pé mais”. (“Espelho Cristalino”, Cap. 13)
A Ermida de Santa Bárbara é fundada pelo flamengo Pêro Pasteleiro, e sua mulher, Madalena da Rosa. Derrubada por um sismo em 1850, foi logo reconstruída tal como hoje a conhecemos, às custas de alguns devotos.
Data de 1567, o início da construção do Forte de Santa Cruz, a principal defesa da ilha. A sua fortificação, conventos e igrejas são vítimas de saque por parte de corsários ingleses em 1589 e 1597, sendo que em 1597, acaba também por ser incendiada. No início do Século XVII, são construídos o Portão de Mar de Porto Pim, o Forte de São Sebastião, o Fortim da Greta (de que restam vestígios) e o Fortim de Nossa Senhora da Guia (de que restam vestígios).
O Convento de São Francisco, foi reconstruído em 1696, em local mais elevado e afastado do mar. A 12 de Novembro de 1700, é consagrado a N. Sra. do Rosário. É transladado de Angra (em 4 de Novembro) para num mausoléu da Capela-mor, o seu principal benfeitor, Simão Luíz Carolo. Com a extinção das Ordens religiosas em 1835, o convento é doado a Santa Casa da Misericórdia que ali instalou o Hospital e o Asilo de Mendicidade. A 4 de Maio de 1899, um violento incêndio destruiu por completo o convento, salvando-se a muito esforço a Igreja de N. Sra. do Rosário. O primitivo convento foi originalmente construído no sítio denominado “Pedras dos Frades” (na Avenida Marginal onde atualmente situa-se a “rosa-dos-ventos”). Terá sido fundado por Frei Pedro da Atouguia, e a sua construção concluída, em 1522. Este convento foi saqueado e incendiado em 1597, por corsários ingleses. Um segundo convento e respectiva igreja, é construído no mesmo local por volta de 1609, mas acaba por ser destruído pelo mar durante uma violenta tempestade, sessenta anos depois (em 20 de Novembro), a qual também havia destruído as muralhas de proteção e o cais da Horta.
D. Frei Lourenço, Bispo de Angra, em 30 de Agosto de 1675, manda realizar as obras já autorizadas para a construção da igreja, com invocação de Santa Cruz. (Arquivo dos Açores, Vol. 1, pág. 175) Em 1688, após visita do Bispo D. Clemente Vieira, a paróquia recebe 572$000 reis para obras finais e ornamentação da igreja. (Anais do Município da Horta, Marcelino de Lima, pág. 245-6) A actual Igreja de N.a Sra. das Angústias em estilo neoclássico, começou a ser construída em 1800. As suas torres sineiras só seriam concluídas, em 1861. Com o início da construção do Porto Comercial em 20 de Outubro de 1876, aliado à sua localização geo-estratégica, tornou-se no melhor porto do arquipélago. Serviu de porto de apoio à Marinha Aliada durante as guerras mundiais. Foi uma base de reabastecimento na era da hidroaviação. Porto de estacionamento dos rebocadores de alto-mar holandeses. No interior do porto, é inaugurada a Marina da Horta, o primeiro porto de recreio a ser inaugurado nos Açores, em 3 de Junho de 1986.
A freguesia de N.a Sra. das Angústias é constituída a 28 de Novembro de 1684.