Gagasan untuk mendirikan Koperasi/BMT muncul setelah mengikuti Pelatihan Pengembangan Lembaga Keuangan Syariah yang diselenggarakan pada bulan April 1995 oleh Koperasi Tamzis. Gagasan ini kemudian lebih dipertegas lagi setelah mengikuti Pelatihan Nasional Katalis BMT pada tanggal 22-24 Juli 1997 di Pusat Pelatihan Koperasi Jakarta yang diselenggarakan oleh P3UK dan Dep. PELMAS ICMI Pusat. Tujuan utamanya, selain berupaya menerapkan Sistem Ekonomi Syari’ah adalah membuka kesempatan usaha mandiri serta menggali dan mengembangkan potensi daerah.
Berbekal hasil pelatihan tersebut maka dibentuklah sebuah Tim “Persiapan Pendirian BMT” guna mempersiapkan segala sesuatunya. Hal utama yang dilakukan oleh Tim ini, di samping melakukan pendekatan dan konsultasi dengan tokoh masyarakat, pengusaha dan berbagai organisasi/instansi terkait, adalah melakukan studi banding dan magang di BMT yang telah beroperasi, antara lain di BMT Tamzis Kertek, BMT Saudara Magelang, BMT Ulul Albab Solo, dan lain-lain.
Alhamdulillah, berkat dukungan dan bantuan dari berbagai pihak, pada tanggal 1 Oktober 1995, Tim tersebut berhasil menyelenggarakan Rapat Pembentukan BMT. Sesuai dengan amanat Rapat tersebut, maka pada tanggal 16 Oktober 1995, sebuah Lembaga Keuangan Syariah, yang kemudian lebih dikenal dengan nama BMT Marhamah(sekarang KSPPS Marhamah) mulai beroperasi. Walaupun modal yang terhimpun pada waktu itu masih sangat minim, yakni hanya Rp. 875.000,- namun dengan kerja keras dan usaha yang sungguh-sungguh, modal/asset tersebut dapat terus ditingkatkan.
Keberhasilan suatu usaha diawali dengan keberanian mengambil keputusan untuk melangkah secara pasti tanpa keraguan akan jenis/bidang usaha yang kita minati dengan keyakinan, fokus dan totalitas, kontinuitas sekalipun dengan jatuh bangun dilandasi dengan tawakkal kepada Allah SWT. Dengan berbekal semangt tersebut diatas, Alhamdulillahsaat ini BMT Marhamah telah menorehkan prestasi yang membanggakan sekarang telah memiliki asset diangka milyaran rupiah dengan jaringan 16 kantor cabang.
Dalam rangka pengembangan jaringan BMT Marhamah juga telah melakukan kerjasama dengan berbagai instansi pemerintah maupun swasta dan perbankkan.