Rancangan untuk membina sebuah Balai Islam di kampus USM Pulau Pinang telah mula dibincangkan pada akhir tahun 1972. Berikutnya pada awal 1973, satu memorandum tentang cadangan tersebut telah dikemukakan kepada Naib Canselor USM yang pertama iaitu Tan Sri Hamdan Sheikh Tahir. Dalam hal ini, peranan besar telah dimainkan oleh Persatuan Mahasiswa Islam USM. Menurut cadangan yangt dibuat Balai Islam yang dibina kelak akan didirakan atas konsep masjid yang pernah diasaskan oleh Rasulullah S.A.W. Hal ini bermakna penggunaan masjid itu haruslah diperluaskan bagi memenuhi kedudukannya yang sebenar sebagai sebuah pusat ibadah, pendidikan, pertemuan dan sebagainya.

Sehubungan dengan hasrat tersebut, maka USM pun mengemukakan rancangannya kepada kerajaan Malaysia. Lanjutan itu, Tun Haji Abdul Razak Datuk Husain, Perdana Menteri Malaysia ke-2 telah bersetuju untuk menjadi penaung pada rancangan tersebut. Persetujuan ini telah dinyatakan olehnya dalam sepucuk surat bertarikh 10 Januari 1973. Sejajar dengan itu, rancangan ini telah dimasukkan ke dalam pelan raksasa dan peruntukannya dipohon daripada rancangan Malaysia ke-2 yang berjumlah RM 350,000.

Walaubagaimanapun, projek ini hanya mendapat perhatian serius pada tahun 1977 setelah Datuk Seri Dr Mahathir Mohamad dilantik sebagai Perdana Menteri Malaysia yang ke-4. Di USM , perubahan kepimpinan turut berlaku apabila Tan Sri Hamdan Sheikh Tahir dilantik sebagai Naib Canselor USM yang Ke-2. Sebaik sahaja dilantik, beliau memberikan tumpuan pada projek ini. Usaha untuk memperoleh bantuan dana kewangan daripada Kerajaan Malaysia dan Kerajaan Arab Saudi giat dijalankan. Sheikh Abdul Rahman Ghannam al-Ghannam yang bertugas di Kedutaan Arab Saudi di Kuala Lumpur berjaya mendapat bantuan kewangan 1.5 juta daripada Kerajaan Arab Saudi untuk disalurkan kepada projek ini.