Идея музея возникла в конце XIX века: первые собрания открылись в 1893 году, а специальное здание начали проектировать и строить в 1907–1914 годах по проекту городского архитектора И. В. Рябикина.
В разные годы музей менял статус и адреса, в 1911 году он был передан Терскому казачьему войску и получил название «Музей Терской области». В советский период фонды использовались для создания Северо‑Кавказского музея краеведения; часть помещений позже занял Музей осетинской литературы.
Коллекция охватывает археологию, этнографию, природоведческие и исторические материалы, включая находки из кобанских могильников, образцы кавказского и восточного оружия и богатый фотоархив. Экспозиция даёт хорошее представление о древней и современной истории Терской области и Северного Кавказа.
Здание музея само по себе — архитектурный памятник: пилястры ионического ордера, лепные детали и арочное окно над входом — всё это видно с Музейного переулка.
Музей исторически тесно связан с другими культурными точками центра: рядом находятся Музей осетинской литературы и Художественный музей Туганова — удобно пройти пешком по «музейному кварталу».
