История основания музея тесно связана с событиями Октябрьской революции. В начале XX века властью было принято решение уничтожить коллекции музеев изобразительных искусств бывшей империи, часть коллекции академии художеств в Петербурге спасена выпускником академии Исааком Бродским. 230 полотен было вывезено на грузовике в город.
7 ноября 1930 году на втором этаже краеведческого музея была открыта картинная галерея, где полотна снова увидели мир. Исаак Бродский был назначен руководителем музея посмертно. В годы войны коллекция была эвакуирована. По возвращению в Бердянск здание музея было разрушено, поэтому долгие годы музей не мог обрести себе новый дом. В 2007 году музей получил действующее сегодня помещение.
В стенах музея фонды насчитывают около 7 200 полотен живописи и графики: художников Приазовья и русских живописцев второй половины XIX — начала XX века, таких как И.К. Айвазовский, А.Н. Бенуа, А.И. Куинджи, А.К. Саврасов, а также курсовые и дипломные работы учащихся Императорской Академии художеств.