«Hermitage» в переводе с французского означает «приют отшельника» или «место уединения». Павильон был предназначен Петром I для времяпровождения в узком кругу приближенных.
Небольшое двухэтажное здание окружено рвом, через который перекинут мостик. До конца XVIII века мост был подъемным, что еще более подчеркивало уединенность павильона. Центральная часть фасада выделена полукруглым фронтоном и широким окном с балконом. Над фронтоном некогда располагались скульптурные изображения. Стены здания покрыты горизонтальным рустом, поверх которого наложены пилястры коринфского ордера, объединяющие два этажа. Весь второй этаж павильона занят парадным залом-столовой, полностью изолированным от служебных помещений первого этажа. Для подачи блюд использовался специальный стол с подъемным механизмом (восстановлен в 2009 году). Стены зала украшены картинами работы западноевропейских мастеров в сплошной (так называемой «шпалерной») развеске.
