Na místě dnešního objektu stála ves Hořejší Drhovle. Po jejím zániku zde byl vybudován dvůr s tvrzí.
Roku 1695 koupil statek hrabě František Mikuláš Morzin. Ten se o pět let později pouští do barokní úpravy tvrze. Dalšími majiteli byli Černínové z Chudenic a Lobkovicové, kteří zde vytvořili středisko svého panství na Písecku. Objekt je tvořen ze dvou patrových křídel. V průčelí zámku se tyčí dvoupatrová věž, ze které vedou schody do parku. Dnes zde sídlí domov důchodců.
