В начале XVII века загородное имение неподалёку от Лиссабона принадлежало Криштовану де Моура, маркизу де Каштелу-Родригу (1538-1613), неоднократно служившему Испании в качестве вице-короля Португалии. Его сын Мануэль де Моура, 2-й маркиз де Каштелу-Родригу (1590-1651) также отличался своими происпанскими взглядами. После прихода к власти Брагансской династии и обретением страны независимости в 1640 году, это его имение наравне со многими другими было конфисковано, после чего перешло ко второму сыну короля Жуана IV. Следующим владельцем был второй сын короля Жуана V (внука Жуана IV), инфант дон Педру (1717-1786), впоследствии, после смерти своего старшего брата Жозе I (1714-1777), ставший королём Португалии. При нём загородный дом начал перестраиваться в настоящий дворец. Строительство началось в 1747 году и длилось почти полвека, закончившись в 1790-х годах, уже после смерти короля.