Здание построено по заказу графа Я.И. Эссен-Стенбок-Фермора. На первом этаже здания размещались склады, на втором - торговые помещения, на третьем - квартиры. В 1879 г. в помещениях Пассажа располагался зарубежный банк «Credit Lyonnais». Со стороны Итальянской улицы находился концертный зал, где проходили публичные научно-просветительские лекции и вечера Литературного фонда.Здесь выступали Тургенев, Некрасов, Достоевский, Чернышевский, Шевченко.
В 1899-1901 гг. по проекту С.С. Козлова здание было перестроено. В 1933 г. Пассаж стал государственным универмагом. В 1934 г. здание частично перепланировано по проекту Н.А. Троцкого.