Masjid Al-Qiblatain sudah mengalami beberapa kali pemugaran. Awalnya masjid ini dikelola oleh Khalifah Umar ibn al-Khattab. Lalu direnovasi dan dibangun kembali ketika Kesultanan Usmani berkuasa.
Pada 1987 Pemerintah Kerajaan Arab Saudi di bawah Raja Fahd pernah memperluasnya, merenovasi, dan membangun dengan konstruksi baru, tetapi tidak menghilangkan ciri khas masjid tersebut.
Di bagian luar, arsitektur masjid terinspirasi dari elemen dan motif tradisional, sehingga menampakkan citra otentik sebuah situs bersejarah.
Ruang shalat mengadopsi geometri dan simetri ortogonal yang ditonjolkan dengan menara kembar dan kubah kembar.
Kubah utama yang menunjukkan arah kiblat yang benar dan kubah kedua hanya dijadikan sebagai pengingat sejarah. Ada garis silang kecil yang menunjukkan transisi perpindahan arah kiblat.
Masjid Qiblatain awalnya memang memiliki dua arah mihrab yang menonjol yang umumnya digunakan oleh Imam shalat, ke arah Makkah dan Palestina.
Usai renovasi, Masjid Qiblatain dibangun dengan memfokuskan satu mihrab yang menghadap Ka'bah di Makkah, sedangkan penanda kiblat lama yang ke Baitul Maqdis dipasang di atas pintu masuk ke ruang shalat.
Desainnya merupakan reproduksi mihrab Sulaimani, seperti di ruang bawah kubah sakhrah (kubah batu) di Yerusalem mengingatkan kepada mihrab Islam tertua yang masih ada. (ant)