Предположительно именно в этом доме в период первой Отечественной войны 1812 года размещался один из госпиталей для раненных русских офицеров. Как известно, в романе Льва Николаевича Толстого «Война и мир» князь Андрей Болконский после Бородинского сражения умирал от ран в Ярославле. Предположительно здесь, в последние дни жизни, ухаживала за ним Наташа Ростова и здесь произошла его последняя встреча с сестрой - княжной Марьей и прощание с сыном Николушкой, которая была описана в романе.
Сам Лев Николаевич Толстой никогда не бывал в Ярославле. Писатель мог узнать и описать этот дом по воспоминаниям Натальи Нарышкиной, эвакуированной в Ярославль во время Отечественной войны.
Здание построено на рубеже 18-19 столетий по типу московских особняков того времени. По характеру архитектурного оформления фасадов его следует отнести к периоду зрелого классицизма. Обращает на себя внимание четырехскатная крыша с изящно изогнутыми линиями мансарды. Эта форма крыши придает зданию более архаичный вид.