В 13 веке когда западная часть нынешней Эстонии была во владениях Эзель Викского епископства и род Lode получил здесь земли, появилось владение в Koluvere. Вассал построил замок, но долго пользоваться им не пришлось. Между епископом и сыновьями Johann von Löwen произошла ссора и замок со временем отошёл во владения ордена меченосцев. Далее владельцы замка менялись, он разрушался, перестраивался.
Начиная с первого епископа Buxhöwden владевшим замком, его стали использовать как место домашнего ареста. Здесь прибывала в заключении принцесса Августа Каролина Брауншвейг, которая при странных обстоятельствах завершила свой жизненный путь и покоится по сей день в этих землях. Императрица Екатерина хотела заточить здесь своего сына Павла, но жизнь её оборвалась раньше чем она успела это сделать.
Здесь бились на смерть шведы, датчане, поляки, русские, 463 года назад у стен замка казнили крестьян восставших против немецких помещиков.
Нынешний вид замок приобрел в 15 веке при епископе Winrich von Kniprode. Здесь была школа для трудновоспитуемых подростков, а в советское время колония для малолетних преступников, в 1963 году здесь была психиатрическую клиника. Замок и 15 га парка были проданы с аукциона за 11 млн. эстонских крон и изначально предполагалось одним из вариантов открыть в замке пяти звездочный дом престарелых для зарубежных эстонцев которые хотят вернуться на родину, но у которых здесь не осталось родственников.
На данный момент замок отреставрирован и является частной собственностью. Теперь здесь проводят свадьбы, банкеты и предоставляют комнаты класса люкс. Но попасть туда не так просто ибо всё бронирование идёт посредством общения через электронную почту.
Одной из самых известных страниц истории замка является история Auguste Karoline Friederike Luise von Braunschweig-Wolfenbüttel, немецкой принцессы. Августу Екатерина 2 сослала в замок под надзор 60-летнего графа. В 1788 году стало известно о кончине принцессы Августы. Внезапная смерть Августы породила много слухов и домыслов. Принц Фридрих просил императрицу предоставить ему более точные сведения о смерти, но Екатерина II хранила полное молчание. По её указу тело принцессы было перевезено в церковь в Святого Иоанна и спешно захоронено, без религиозного обряда.
Деревня Kullamaa место где живут чуть более двухсот человек, но место с богатой историей и замечательными людьми. Церковь Святого Иоанна Püha Johannese kirik.
Строительство церкви Святого Иоанна начато и закончено в XIII веке. Современный вид церковь обрела в XIX веке. Пол церкви покрыт старинными стершимися надгробиями. На многих очертания фигур едва угадываются, за четыреста лет их истоптали башмаки прихожан. В церкви находится уникальная деревяная купель которой ровно 400 лет и она чудом сохранилась до наших дней.
В 1819 году по соглашению Фридриха Вюртембергского с Александром I прах Августы был перезахоронен по всем правилам церковного обряда. Во время захоронения гроб был вскрыт и было выяснено, что Августа была беременна. Было проведено расследование, согласно которому граф Polman ответственный за её содержание злоупотребил оказанным ему доверием. В результате проведенной эксгумации стало известно, что во время родов он, чтобы скрыть свое преступление, отказал Августе во врачебной помощи и она умерла. Покой принцессы несколько раз нарушался, первоначально принцессу хоронили слева от алтаря, затем перезахоронили в центре нефа, возможно в конце XIX века, останки вывезли на её родину (но это лишь ничем не подтверждённые сведения) Надгробие с оградой было установлено возле кафедры в 1890 году, поскольку мешало церковным службам. В 2007 году были произведены реставрационные работы надгробной плиты.
Здесь ходил в школу Rudolf Tobias эстонский композитор, органист, хоровой дирижёр и педагог. В годы учебы он при каждом удобном случае бывал в любимой Стране Золота, черпая вдохновение для творчества и играя на органе церкви где его отец был старостой. На кладбище Kullamaa находится последнее место упокоения композитора куда был перевезён его прах из Германии в 1992 году.
На церковном кладбище есть старый крест которому 403 года и надпись на нём гласит «Sitta Kodt Matz, 1621» По легенде, здесь похоронен крестьянин по имени Матс, который собирал на проселочных дорогах лепешки конского навоза и удобрял ими свои поля. Тем самым он добивался высокого урожая и разбогател так сильно, что купил себе "почётное" место на кладбище у церкви и был там похоронен.
В деревне есть свой культурно-исторический мемориал и не один, Первый посвящён освободительной войне а другой представлен памятными камнями посвященными известным людям связанным с Kullamaa или имеющим родственные связи с этой местностью.