Dari Damaskus, ia terus mengembara menelususi berbagai negara, seperti Jerusalem, Hebron, Mesir (Kairo dan Alexandria), Madinah, Mekah, kembali ke Baghdad sebentar di bulan Juni 1097, sebelum akhirnya ia pulang ke kampung halamannya, Thus. Setelah berbulan-bulan berada di Mekah dan Madinah, ia memilih kembali ke tanah kelahirannya.
Tentang kepulangannya ini, al-Ghazali dalam kitab al-Munqidz min al-Dhalal menyatakan, “Dari pengembaraan panjang ini, aku pulang ke rumah, karena panggilan anak-anak dan keperluan keluarga lainnya. Ketika di rumah, aku berusaha untuk ‘uzlah, khalwat, dan membersihkan hati (tashfiyah al-qalbi li al-dzikr).
Berbagai peristiwa, urusan keluarga, dan keperluan hidup, mempengaruhi tujuan dan mengganggu kejernihan khalwat (tusyawwisyu shafwah al-khalwah). Hanya sesekali aku bisa mendapat kesempatan sempurna. Aku tidak putus asa dan khalwat terus berjalan. Demikian, sampai berlangsung sekitar sepuluh tahun”.
Selama berada di kampung halamannya ini, al-Ghazali melanjutkan menulis kitab sekaligus mengajarkan Ihya` Ulum al-Din. Ia berdakwah menyampaikan hasil yang diperolehnya dalam mencari kebenaran. Al-Ghazali menyeru agar orang bertaubat dan mendorong mereka meninggalkan hidup keduaniwian.
Baginya, semua perjalanan spiritual bagi manusia yang terjerembab dalam dosa mesti dimulai dari sebuah penyesalan dan pertobatan. Imam Ghazali juga menyeru agar orang beriman kembali pada kehidupan sederhana.
Menganjurkan mereka agar bersiap melakukan pengembaraan guna menggapai kehidupan akhirat, mencari hidayah dari orang-orang yang telah mencapai makrifat dan pencerahan dari Tuhan. Di tanah kelahirannya ini, al-Ghazali membangun Khaniqah bagi para sufi dan madrasah bagi mereka yang hendak belajar agama.
Di Khaniqah dan madrasah ini, al-Ghazali menenggelamkan seluruh aktivitas kesehariannya dengan membaca al-Qur`an, mengajar, berpuasa, shalat tahajjud, dan berpuasa hingga meninggal dunia. Beberapa tahun sebelum meninggal, Imam Ghazali seperti melakukan konversi intelektual dari rasionalisme ke sufisme.
Al-Ghazali meninggal pada waktu Subuh hari Senin, 14 Jumad al-Tsani 505 H. bertepatan dengan tanggal 18 Desember 1111 M., dalam usia 53 tahun. Menurut Ibnu al-Imad, ia meninggal usia 55 tahun. Al-Ghazali dimakamkan di luar Thabaran, dekat makam seorang penyair terkenal, Firdawsi.
Tentang kematinnya, saudara Imam Ghazali bernama Ahmad bercerita bahwa suatu waktu al-Ghazali berwudhu` dan berdoa, dan kemudian berkata; “bawakan kain kafanku”, kemudian ia mengambil dan menciumnya, dan meletakkan di hadapan mukanya seraya berkata, “dengan senang hati saya memasuki Kehadirat Kerajaan”.
Kemudian ia meluruskan kakinya dan berlalu menemui sang Khalik. Seyyed Hosesen Nasr mengutip bait-bait puisi Arab gubahan Imam Ghazali yang ditemukan di bawah bantalnya setelah kematian beliau:
Katakatan kepada saudara-saudara yang melihat ketika aku mati,
Dan menangis untukku, meratapiku dalam kesedihan;
Kau kira akulah mayat yang akan kau kuburkan ini?
Demi Allah jasad ini bukanlah aku.
Aku ada di dalam Ruh dan tubuhku ini
Dulunya tempat tinggalku, pakaianku untuk sementara waktu
Aku memuji Allah yang telah membebaskanku, dan menjadikan
Bagiku tempat tinggal di langit tinggi.
Mulai sekarang aku adalah orang mati di tengah-tengah kalian,
Tetapi aku telah menyongsong hidup, dan melepas selubungku
Corak Tasawwuf. Imam Ghazali bukan orang pertama yang disebut sufi. Ia juga bukan perintis dan peletak dasar ilmu tasawuf. Jauh sebelum Imam Ghazali menulis buku-buku tasawuf, beberapa abad sebelumnya sudah muncul beberapa ulama yang concernpada ilmu tasawuf.
Pada abad kedua Hijriyah, para sufi muncul dari daerah-daerah seperti Kufah, Bashrah, Madinah, Khurasan, dan Mesir. Di antara mereka adalah al-Hasan al-Bashri (w. 110 H./729 M.), Sufyan al-Tsauri (w. 135 H./754 M), Ibrahim ibn Adham (w. 161 H./778 M.), Rabi’ah al-Adawiyah (w. 185 H./801 M.) dan Fudhail ibn Iyadh (w. 187 H./803 M.).
Pada periode ini tak banyak buku-buku tasawuf yang ditulis mereka. Baru pada abad ketiga Hijriyah mulai bermunculan sejumlah tokoh sufi yang menulis buku. Di antaranya adalah Haris al-Muhasibi (w. 243 H./857 M.) yang menulis buku al-Ri’ayah li Huquq Allah, Abu Sa’id al-Kharraz (w. 277 H.) dengan bukunya al-Thariq ila Allah aw Kitab al-Shidq, Dzun Nun al-Mishri dengan bukunya, al-Mujarrabat, dan Junaid al-Baghdadi dengan kitab Rasail al-Junaid.
Tasawuf dalam periode ini telah berkembang menjadi mistisisme dalam Islam. Tasawuf coba disandarkan pada teks-teks al-Quran dan Sunnah Nabi Muhammad. Para sufi menyadari bahwa ketekunan dalam beribadah, tak cinta pada kenikmatan dunia, pasrah hanya kepada Allah, cinta penuh kepada Allah adalah jalan-jalan menuju pemerolehan ridha Allah dan tersingkapnya hijab-tirai yang memisahkan manusia dengan Allah.
Kehidupan sufi saat itu dipenuhi dengan kedisiplinan dalam menjalankan ibadah wajib dan kedisiplinan dalam melaksanakan ibadah sunnah seperti shalat tahajjud, membaca al-Quran, puasa Senin-Kamis, dan sebagainya. Dengan menjalankan ritus peribadatan tersebut ditambah dengan suasana hati yang terus mengingat Allah (dzikr Allah), maka para sufi bisa menyaksikan (musyahadah) dan mengetahui Allah (marifatullah).
Pada abad ketiga Hijriyah juga muncul sufi Abu Manshur al-Hallaj (224 H./857 M.-309 H./922) yang mengintroduksi konsep hulul. Ia sering mengeluarkan ungkapan-ungkapan spiritual tak lazim (syathahat). Ungkapannya yang berbunyi “ana al-Haqq” (aku adalah Tuhan) menimbulkan badai kontroversi di tengah masyarakat. Al-Hallaj tampaknya tak sendirian.