История Гороховца началась во времена его основателя Андрея Боголюбского. Здесь сохранились старинные памятники архитектуры: семь купеческих каменных палат XVII века (во всей России их осталось всего 20), соборы и церкви XVII века, резные деревянные дома в стиле модерн. Из источника на Пужаловой горе, по преданию, брал воду Иван Грозный.
И хотя, по одной из версий, название «Гороховец» происходит от слова «гора», на гербе города изображены пять стеблей гороха, вьющихся вокруг воткнутых в землю кольев, — таким его создали геральдисты еще в 1781 году.