Именно Войцех в 1830 году начал строительство роскошного дворца. После особняк перешёл к его наследнику - сыну Вандалину Пусловскому, крупному промышленнику и любителю искусств, продолжившему строительство дворца. Автор проекта - варшавский архитектор Франтишек Ящолд, а во второй половине века реконструкцией дворца занимался Владислав Маркони. Дворец был построен в 1838 году.
Дворец удачно вписан в живописный парковый пейзаж. Возводя свою резиденцию в этом месте, Пусловские связывали строительство дворца с соседней исторической усадьбой, где в 1746 году родился руководитель национально-освободительного восстания 1794 года генерал Тадеуш Костюшко. Дворец Пусловских и древняя усадьба Костюшек вместе с парком создали уникальный дворцово-парковый ансамбль, но на его долю выпали очень сложная судьба и тяжёлые испытания.
Среди гостей дворца можно перечислить множество известных лиц, в том числе литератора, музыканта и художника Наполеона Орду, писателей Генрика Сенкевича и Элизу Ожешко, маршала Юзефа Пилсудского, историка и писателя Вацлава Ластовского и др. Благодаря рисункам Наполеона Орды, сегодня мы знаем, как выглядел дворец во время Пусловских.
Третий владелец Леонард Пусловский продал особняк за 700 тысяч рублей, чтобы погасить карточные долги. Дворец был приобретён русским купцом Александровым, который несколько позже перепродал его по двойной цене княгине Анне Трубецкой. После владельцем поместья стала княгиня Абомалек, а затем - князь Ольденбургский.
Во время Первой мировой войны дворец был разграблен и частично разрушен. Исчезла коллекция редких рукописей, статуй, картин и все ценности. Безвозвратно уничтожили сад и оранжере. До наших дней от них сохранились только несколько кустов сирени и боярышника. Значительная часть ценностей была вывезена за границы страны. С 1921 по 1939 год дворец принадлежал Польше. После проведённой реставрации он использовался в качестве администрации староства Косовского повята и училища садоводства. До 1939 года в ряде залов сохранились печи и камины.
С сентября 1939 по 1941 год во дворце размещались части Красной армии.
Самые большие разрушения постройки получили во время Второй мировой войны, хотя оккупанты не тронули дворец. На его территории и в городе были созданы 4 гетто, в которых было уничтожено практически всё еврейское население Коссово, из-за чего количество его жителей уменьшилось в семь раз. В 1944 году произошёл большой пожар, устроенный местными партизанами, уничтоживший все остальные помещения и декоративную отделку. Были повреждены фундаменты, часть стен обвалилась, отсутствовала крыша, только частично уцелели витражи. Дворец был сожжён, поскольку партизаны полагали, что он может использоваться нацистами под госпиталь, хотя к тому времени оккупанты уже оставили Коссово. Вместе с дворцом был сожжён и дом Костюшко.