Музей был основан в 1938 году как областная картинная галерея. Первую коллекцию составили произведения из фондов Третьяковской галереи, Русского музея, Эрмитажа и частных собраний, переданных в Ростов в рамках государственной музейной политики 1930‑х годов.
Во время Великой Отечественной войны часть коллекции была эвакуирована, часть — утрачена. После войны музей возобновил работу и начал активно пополнять фонды произведениями русских и советских художников.
В 1975 году галерея получила статус областного музея изобразительных искусств. Основное здание музея разместили в особняке конца XIX века — бывшем доме купца Парамонова (по другим источникам — доме Кушнарёва), который был приспособлен под музейные нужды.
Сегодня РОМИИ — один из крупнейших художественных музеев юга России, с коллекцией более 6 тысяч произведений.
В экспозиции представлены:
Музей проводит временные выставки, лекции, образовательные программы, работает с молодёжью и профессиональным сообществом. Здание на Пушкинской — один из архитектурных акцентов улицы, а внутренние залы сохраняют атмосферу исторического особняка.
Музей активно участвует в федеральных выставочных проектах и сотрудничает с крупнейшими музеями России.