В середине 18-го, начале 19-го веков застройка этой части города была сплошь деревянной. Единственными каменными строениями на этом месте были корпус шелковой фабрики Гурьева и церковь Вознесения. Во второй четверти XIX века фабрика была закрыта, а ее корпуса были переданы военному ведомству царской России и переоборудованы под армейские казармы, которые получили название - Вознесенские.
Во время белогвардейского мятежа 1918 года на казармах были установлены пулеметы, из которых восставшие вели оборонительный огонь. В эти страшные дни, почти все близлежащие деревянные кварталы города сгорели от пожара!
В советский период громадное строение еще долгое время оставалось в распоряжении военных, и во дворе, как на плацу, раздавались громкие команды, и маршировали стройные колонны солдат-новобранцев.
В 50-х годах 20-го века казармы были реконструированы по проекту московских архитекторов Панченко и Шпотова. К зданию надстроили третий этаж, а угловую часть увенчали высокой, многоярусной башней со шпилем и звездой. Сложный художественный облик башни был определен окружающими постройками. Башню украшают элементы декора, свойственные архитектурным объектам города Ярославля разных эпох: от 17-го века до советского периода. Таким образом, современным зодчим удалось мастерски вписать данное сооружение, как в историческую, так и в новую застройку города.
Сегодня, здание обрело вполне мирное назначение. Теперь под крышей бывших Вознесенских казарм соседствуют множество офисов и магазинов, а во внутреннем дворике построены выставочный и концертный залы.