1597 m. Panemunės dvarą nusipirko vengrų kilmės didikas Jonušas Eperješas. Tuo metu sudarytame dvaro inventoriuje be pastatų minimi sodai, užtvankos, malūnai ir tvenkiniai. 1604 - 1610 m. pastatyta Panemunės rezidencinė pilis, kuri nebuvo krašto gynybai skirta tvirtovė, o tipiška XVII a. pr. feodalo pilis, galėjusi apginti nuo vidaus neramumų.