Za císaře Ferdinanda I. roku 1563 byla u zámku založena zahrada s vinohradem. Císař Rudolf II. si Brandýs zamiloval, zvolil ho za své hlavní mimopražské sídlo a nechal v zahradě vybudovat letohrádky, kašny, vivária, míčovnu a terasu. Zámek spojovala s jeho soukromou částí zahrady krytá chodba dlouhá 80 metrů zvaná Rudolfinka, která byla dokončena roku 1602.
Soukromá zahrada byla oddělena balustrádou, kterou postavila kamenická huť A. Broccy, a je to jediná pozdně renesanční stavba dochovaná v zahradě.