Jalankan Bot Mesin Pencari, Apa itu Robots.txt?

Tanpa file robots.txt, mesin pencari akan bebas dalam melakukan crawling dan mengindeks apapun yang mereka temukan di situs web. Penggunaan robots.txt bagus untuk sebagian besar situs web, tetapi dengan menggunakan file tersebut setidaknya dapat menunjukkan di mana letak XML sitemap Anda sehingga mesin pencarian dapat dengan cepat menemukan konten terbaru di situs web Anda, serta mengoptimalkan crawling budget. ***