قدیمی ترین اثر به جا مانده از دوران اسلامی شهر سراب مسجد جامع آن است. بنابر کتیبه موجود در مسجد بنا در دوران حکومت آق قویونلوها در قرن نهم هجری و توسط فردی به نام حاج رفیع الدین بن الحاجی مشید الدین، ساخته شده است. در حفاری های محدود صورت گرفته در داخل مسجد بقایی به دست آمده است که نشان می دهد مسجد بر روی یک بنای قدیمی تر ساخته شده است که چندین متر پایین تر از سطح فعلی مسجد قرار داشته است. گواه این ادعا کشف ستونی است که در کف مسجد پیدا شده و تقریبا تمام آن در زیر خاک مدفون است. این مسجد گلدسته یا مناره ای ندارد و تنها یک حیاط کوچک در یکی از ورودی های آن تعبیه شده است.

مسجد دارای دو ورودی است. یکی مشرف به حیاط و دیگری مشرف به شبستان اصلی و هر دو درب روبروی یکدیگر واقع شده اند. ورودی غربی در حیاطی زیبا و کوچک قرار گرفته است و بعد از گذر از چند پله به شبستان اصلی منتهی می شود. ورودی شرقی نیز به واسطه چند پله مستقیما به شبستان می رسد. در نمای بیرونی بنا اثری از مقرنس کاری و یا کاشی کاری های مساجد به چشم نمی خورد. با ورود یه داخل مسجد چیزی در حدود 60 ستون بسیار قطور آجری به چشم می خورد که تنها در مساجد آذربایجان دیده شده است. بر روی این ستون های قطور شصت گنبد واقع شده است که 5 متری از زمین فاصله دارند. مسجد تماما آجری است و آجرکاری تنها تزئین به کار رفته در پوشش گنبدها و طاق های جناغی است.

یک منبر چوبی سفید رنگ نیز با چند پله در گوشه ای از شبستان قرار گرفته و نام بانی آن با خطی خوش بر روی آن حک شده است. این مسجد زیبا سه محراب مختلف دارد. از این سه محراب یک محراب با کاشی کاری بسیار چشم نوازی آراسته شده است و کتیبه ای از آیات قرآن با خطی خوش دور تا دور آن را فرا گرفته است. این محراب زیبا با انواع نقوش اسلیمی و گل و بوته با رنگ های زیبایی آراسته شده است. علاوه بر کاشی های لعابدار فیروزه ای مرسوم از کاشی های طلایی نیز در تزئین این محراب استفاده شده است. دو محراب دیگر این مسجد تنها با گچ بری های ساده آراسته شده اند. محراب اما به سبب گذر زمان دچار آسیب هایی شده بود که جهت بازسازی و مرمت و همچنین حفاظت بیشتر به موزه آذربایجان منتقل شده است.

کتیبه مرمرین موجود بر یکی از سردرهای ورودی نیز با خطی متعلق به آق قویونلوها و گورکانیان شامل مطالبی همچون نام بانی بنا و تاریخ ساخت آن است و به سال 875 ه.ق  اشاره می کند. یک کتیبه دیگر نیز در مدت حفاری های باستان شناسی در مسجد کشف شده است که به همراه کتیبه اول در سازمان میراث فرهنگی نگهداری می شوند تا کارهای بازسازی و مرمت بر روی آن ها صورت بگیرد.