Здание было построено одним из первых по регулярному плану города 1781 года купцом Д.А. Столетовым. Здесь родились и жили русские патриоты-братья
Столетовы: генерал Николай Григорьевич Столетов-герой Шипки (1833-1912гг.) и выдающийся ученый физик Александр Григорьевич Столетов (1839-1896 гг.). В деревянном флигеле купеческого дома XIX в. расположена экспозиция, рассказывающая о генерале, освободителе Болгарии Н.Г. Столетове и его брате, физике с мировым именем А.Г. Столетове.