До присоединения Анненской библиотеки к Вытегорской централизованной библиотечной системе она находилась в ведомстве Ковжинского леспромхоза и была избой-читальней при Ковжинском клубе. В связи с ростом потребности в чтении жителей села в конце 1960 года библиотека открылась в новом отдельном здании. Заведующей была назначена Галина Александровна Давитиашвили.
С 2003 года и по сегодняшнее время библиотекой руководит Ольга Геннадьевна Демиденко. На 1 января 2022 года объем фонда библиотеки–11177 экземпляров. Библиотека работает с читателями всех возрастов. Основные направления работы — нравственное и патриотическое воспитание.
При библиотеке работает клуб по интересам для ветеранов «Сударыни» и кружок громких чтений для дошкольников «Знайка», проходят литературные вечера, митинги, праздники для детей и ветеранов, уроки мужества, мастер-классы, громкие чтения и др. Библиотека постоянно сотрудничает с Ковжинским Домом культуры, детским садом, ветеранской организацией и Администрацией сельского поселения.