Masjid yang terletak di Jalan P. Diponegoro dan bersebelahan dengan kantor Gubernur ini terakhir di renovasi pada tahun 1994. Karena memiliki nilai sejarah, bangunan lama akan tetap di pertahankan. Dulunya masjid ini hanya bisa menampung 1200 jamaah. Sering sekali menjadi simbol kerukunan di Medan karena letaknya juga persis berhadapan dengan gereja dan berada di persimpangan kampung Madras, 'Little India' nya Medan.

Masjid Agung Medan nantinya akan memiliki daya tampung hingga 5000 jamaah dan tambahan 2000 jamaah. Bangunan masjid di bangun dengan 3 lantai, dengan 2 menara baru, di lengkapi dengan fasilitas parkir 400 mobil dan 1000 sepeda motor, serta taman pendidikan Al-Quran.

Hingga dengan saat ini progress nya telah mencapai 98,15%