Построена купцом первой гильдии Габдуллой бин Абдулсалямом бин Утямышем аль-Маскарави. Кыйблу (направление на Мекку) установил выдающийся богослов-реформатор Габдельнасир Курсави. Предположительно, в 1830-1840 гг. была расширена и перестроена по проекту А.К. Шмидта. По легенде, мечеть поставлена на месте братской могилы воинов-мусульман, защитников Казани в 1552 г. Могила была обозначена большим старым камнем ("Иске Таш"), сохранявшимся долгие годы и после строительства мечети перед ее восточным фасадом.
С начала XIX в. имам-хатибами здесь служили представители династии Амирхановых. Среди них видный богослов и историк Хусаин Амирхан (1816-1893 гг.) - мулла мечети в 1847-1889 гг.; его сын, педагог-новатор и просветитель Мухаметзариф Амирхан (1853-1921 гг.) - имам мечети в 1875-1921 гг. В семье этого священнослужителя родился выдающийся татарский писатель Фатих Амирхан (1886-1926). Кроме того, в мечети "Иске Таш" в 1893-1932 гг. исполнял обязанности второго, а затем и старшего муллы поэт Мухаметсадык Шагиахметович Иманкулов (1870-1932 гг.).
Мечеть была закрыта по постановлению ЦИК Татреспублики в конце 1930-х. В 1994 г. возвращена общине верующих.