Плодовые сады находятся в центре усадьбы и за Домом Толстого, справа огибают Нижний парк. А с левого края центральной части усадьбы, за хозяйственными постройками, расположился Старый сад, который посадил еще Николай Волконский. Но так много яблонь появилось в усадьбе именно при Толстом. В первый год после женитьбы, по воспоминаниям супруги, он «насажал большой яблочный сад, говоря, что это для Сережи, который тогда родился» (имеется в виду старший сын писателя, Сергей Толстой. — Прим. ред.). Всего писатель посадил 7800 деревьев, и в итоге площадь садов увеличилась с 10 до 40 гектаров. Такие большие и ухоженные сады во второй половине XIX века редко встречались в средней полосе России. Об их красоте Софья Толстая писала: «Весна во всем разгаре. Яблони цветут необыкновенно. <…> Взглянешь в окно в сад и всякий раз поразишься этим воздушным белым облакам цветов в воздухе, с розовым оттенком местами и со свежим зеленым фоном вдали».