Kentin merkezinde, Camii Kebir Mahallesinde bulunur. Kentin kuzey kapısının yakınında kuzey-güney yönündeki ana caddenin batsında yer almaktadır. Dağ Kapı ile Mardin kapı arasındaki ana cadde ortaçağda kentin merkezine ulaşımda ana arter görevini üstlenmişti.
Yapı çoğunlukla taş olmakla birlikte çok az tuğla malzeme kullanılarak inşa edilmiştir. Transept Planlı Ulu Cami, plan tipinde inşa edilen yapı, geniş bir avlu etrafında dizili mekanlardan oluşmaktadır. Avluya üç farklı yöndeki kapıdan ulaşılmaktadır. Kapılar hem tasarımı, hem de işçiliği bakımından ayrıcalıklı bir özellik göstermezler. Avlunun kuzeybatı tarafında Şafiler Bölümü, Kuzeydoğuda Mesudiye Medresesi, güneyde asıl cami bölümü olan Hanefiler kısmı, doğu ve bab yüzlerde ise revaklı galeriler yer almaktadır. Avlunun doğu ve batısında bulunan revaklar iki katlı olarak yapılmıştır. Doğu cephedeki revaklar ikili bir destek sistemine sahiptir. Kare kesitli ayaklar ile bunların önüne dairevi kesitli devşirme sütunlar yerleştirilmiştir. Sütunlar ve başlıkları Bizans dönemine ait bir yapıdan getirilmiştir. Ayakları bir birine bağlayan kemerlerde form olarak farklılıklar görülmektedir. Buradaki revak kemerlerin büyük bölümü sivri kemerli olmasına karşılık içlerinde çok az Bursa Kemerli olarak tabir edilen kemer formu da görülmektedir. Cephede görülen korniş dizisi ve saçaklar da devşirme malzeme olup, yapının geri kalan bölümüyle uyum içinde tasarlanmıştır. İkinci kabn revak ayakları daha kalın örgülü olarak yapılmıştır. Yine bu ayakların önünde birer sütun bulunur. Sütun başlıkları ve devamındaki kornişler bir yapıdan bütünüyle sökülüp getirilmiş bir cephe düzenine işaret etmektedir.
Avlunun doğu cephesinde bulunan revak ve kemer örgüsü batı cephesiyle aynı özellikleri taşımaktadır. Bu cephede de çift destekli ve iki katlı bir revak bulunur. Avluya giriş bu revaklı geçişlerinden birisinin içinde bulunan merdivenli galeri şeklindeki bir koridorla sağlanmaktadır. Giriş cephesinde Sivri kemerli kapının iki yanında iki hayvan mücadele sahnesi işlenmiş, bunun da üzerinde bir şerit şeklinde kitabe yerleştirilmiştir. Hayvan mücadele sahnesinde aslan bir boğaya sırtından saldırır şekilde gösterilmiştir.
Avlunun güneyinde bulunan Hanefiler bölümü olarak adlandırılan kısım asıl caminin harimini oluşturmaktadır. Bu bölüm, ortada bulunan alınlık çatıya sahip iki katlı bir cephe düzeniyle doğrudan avluya açılmaktadır. Avluya ikili bir kapı şeklinde açılır. Kapılar arasında ortada bir mihrabiye yerleştirilmiştir. Bu mihrabiye ile birlikte cephede üçlü bir kapı düzeni varmış izlenimini uyandırmaktadır. Mihrabiyenin üzerinde şerit şeklinde bir kitabe panosu bulunmaktadır. Alınlıklı cephe yukarıda üç pencere ve alınlık içine yerleştirilmiş bir başka üç pencere ile hareketli bir şekle getirilmiştir. Bu haliyle Şam Emeviye Camisinin girişi cephesini hatırlatmaktadır.
Harim, avluya iki yanda kemerli açıklıklarla açılmaktadır. Bugün bu açıklıkların arası camekanla kapatılmıştır. Doğuda yedi, batıda ise altı sivri kemerden oluşur. Transept planda yapılan harim mihrap duvarına paralel yerleştirilen iki destek sırasıyla üç sahına bölünmüştür. Her bir deste sırasındaki ayaklar birbirine sivri kemerlerle bağlanmıştır. Mihrap aksında bu sahınlan dikey kesen bir orta sahın bulunmaktadır. Bu orta sahın hem yüksek, hem de alınlıklı olarak yapılmıştır. Araştırmacıların bir kısmı orta sahında, Şam Ulu Cami ile olan benzerliğini de dikkate alarak kubbe olabileceğini ileri sürmüştür. Bu mekanın ortasında kıble yönünde bir mihrap bulunur. Ayrıca doğu yönde çok destekli kısmın içinde de bir mihrap yer almaktadır. Batıdaki bölümün kıble duvarında bulunan bir kapıyla minareye ulaşılmaktadır.
Caminin mihrap ve minberi Osmanlı döneminde onarım görmüş ve değiştirilmiştir. Özgün mihrap ve minberinin nasıl olduğu bilinmemektedir.
Yapının içinde orta bölümün tavanı kalem işleriyle süslenmiştir. Benzer kalem işi süslemeleri tavanın yüzeylerinde görülmektedir. Burada da yazı şeridi şeklindeki kalem işleri daha çok Osmanlı dönemi süslemelerinin özelliklerini göstermektedir.
Ulu Cami'nin bulunduğu yerde Mama Tor olarak bilinen bir kilise bulunuyordu. Cami bu kilisenin üzerinde gelişmiştir. Ancak bu kilisenin planı ve mimarisi hakkında herhangi bir bilgi bulunmuyordu. Emeviler zamanında bölgede İslamiyet'in yayılmasıyla birlikte, Şam Emeviye Camisine benzetilerek bir kurulan bir camiden ilk İslam kaynakları bahsetmektedir. 1046 yılında kente gelen Nasır Hüsrev kentteki yapıları anlatırken Ulu Cami'den de bahsetmektedir. Hüsrev, caminin çok destekli bir sütun sistemine sahip olduğuna ve yapının yakınında bulunan bir kilisenin süslemeli sütunlarına işaret etmektedir. 1085 yılında kenti ele geçiren Selçuklular zamanında cami yeninden büyük bir onarımdan geçirilmiştir. Selçuklu Sultanı Melikşah'ın emriyle vali Amidüddevle 1090 yılında camiyi esaslı bir biçimde onarmıştır. Tek şerit halinde bu onarıma ilişkin kitabede şunlar yazılıdır:
"Rahman ve rahim olan Allah'ın adıyla; Allah'tan başka Tann yoklu", Muhammed onun elçisidir. Bunun yapılmasını Büyük Sultan, Büyük Sahlann Şahı, ümmetin ve emirlerin başı, Arap ve acemlerim efendisi, dünya ve dinin yücelticisi, Devletin Kudreti, Fetih babası, Alparslan oğlu Melikşah - Allah saltanatını devamlı kılsın emretti.
Dinin şerefi, Devletin direği, Vezirlerin tacı, Cehir oğlu Mansur Muhammed valiliği zamanında Allah günlerini uzatsın; Kadılann şerefi, Büyük kadı Abdülvahid oğlu Abu nasır Muhammed eliyle ve Kudüs'lü Muıammed oğlu Ahmed'in vekaletiyle 484 (1091) senesinde Yapıldı."
Selçuklu döneminde yapıda gerçekleştirilen onarımların nereler olduğu bu gün için tam belli değildir.
Yapı 1115 yılındaki depremde tahrip olmuştur. Bu dönemde caminin içinde bulunan ahşap destekli bölümlerin yıkıldığı, İnaloğulları zamanında yeniden inşa edildiği bilinmektedir. 1117-1125 yılları arasında avlunun doğu ve batı kanatlarında bulunan çift katlı revaklı bölümler inşa edilmiştir. 1155 yılında Avlunun doğusunda bulunan Mesudiye Medresesi inşa edilmiştir. Yapı sonraki dönemlerde Selçuklu, Artuklu, Osmanlı, Akkoyunlu zamanında da onarım görmüş ve ilavelere maruz kalmıştır.
