Мечеть построена по инициативе и на средства татарской общины Ярославля. Разрешение на постройку было получено в апреле 1907 года. Весной 1910 года была открыта зала для коллективной молитвы мусульман. Этот год считается годом рождения Ярославской соборной мечети. В 1931 году здание мечети приспособили для нужд города, здесь разместилась школа для слабослышащих детей. В 1992 году здание мечети вернули мусульманской общине.
В 2008—2009 годах на средства Фонда имени Ахмата Кадырова (потрачено около 39 млн рублей) была проведена реконструкция здания: укрепили фундамент, заново выстроили стены, увеличили площадь почти в полтора раза, появились библиотека, зал для совещаний.