Setibanya di Indonesia beliau singgah di Jakarta beberapa hari, mendengar kedatangan Habib Sholeh sepupu beliau Habib Muhsin bin Abdullah Al Hamid meminta Habib Sholeh untuk tinggal sementara di kediamannya di kota Lumajang.
Setelah menetap beberapa hari, beliau pindah ke Tanggul Jember Jawa Timur dan akhirnya menetap di sana sampai akhir hayat.
Sebelum memulai dakwahnya di Jember, Habib Sholeh pernah mengasingkan diri lebih dari tiga tahun berkhalwat dengan membaca Al-Quran, bersholawat dan berzikir.
Baca Juga: Innalillahi, Cucu Pendiri NU Hadratusyaikh dan Adik Gus Dur Nyai Hj Lily Wahid Meninggal Dunia
Guru besarnya Al-Imam Al-Qutb Habib Abubakar Bin Muhammad Assegaf kemudian mengajak beliau keluar dari khalwatnya, lalu meminta Habib Sholeh datang ke kediamannya di kota Gresik.
Sesampainya di rumah Habib Abu Bakar, Habib Sholeh mendapat mandat dan ijazah dengan memakaikan jubah Imamah dan sorban hijau dari gurunya sebagai pertanda kewalian kutub yang akan diembannya.
Baca Juga: Ini Doa Pembuka Pintu Rezeki dari Segala Penjuru, Amalkan Secara Rutin!
Setelah itu, Habib Sholeh mendapat isyarat untuk datang ke Mekah dan Madinah. Usai berziarah ke makam Nabi Muhammad SAW, beliau kembali ke Indonesia untuk berdakwah dakwah.
Dakwah yang dilakukan oleh Habib Sholeh diawalinya dengan membangun musala di tempat kediamannya.