В XVIII веке существовала традиция строительства в летних резиденциях «потешных» военных крепостей, которые использовались для забав императорских и великокняжеских детей. В Ораниенбауме подобная крепость Петерштадт была построена для великого князя Петра Федоровича, в будущем императора Петра III.
Из всех построек Петерштадта сохранились только дворец и Почетные ворота. Миниатюрный дворец Петра III по утонченности пропорций и изысканности декора — одно из самых совершенных произведений архитектуры XVIII века, это первая самостоятельная работа архитектора Антонио Ринальди в России, несущая в себе черты рококо. В изысканных интерьерах царит собственный прекрасный и уютный мир хозяина — музыканта и страстного коллекционера.
Первый этаж занимают служебные помещения, а на втором этаже шесть комнат: Передняя, Буфетная, Картинный зал, Кабинет, Спальня и Будуар. В музее представлены личные вещи Петра Федоровича: треуголка, шарф, мундир полковника голштинского пехотного полка. Будучи комендантом крепости, он не раз появлялся в этом наряде на балконе дворца, чтобы поприветствовать своих подчиненных. Во Дворце Петра III собрана уникальная коллекция живописи европейских художников XVII–XIX веков, предметы мебели и произведения декоративно-прикладного искусства.