Network
DENPASARUPDATE.COM –Sebuah protokol yang disebut REP (Robots Exclusion Standard Protocol) diluncurkan pada tahun 1994. Protokol ini menetapkan bahwa semua crawler mesin pencarian (user-agents) harus mencari file robots.txt di direktori dasar domain Anda terlebih dahulu dan membaca petunjuk yang ada di dalamnya. Dengan begitu, bot dapat mulai mengindeks halaman web Anda.
Sebagaimana dilansir situs WartaEkonomi.Com, file tersebut harus terletak langsung di direktori dasar domain Anda dan harus ditulis dengan huruf kecil karena bot membaca file robots.txt yang instruksinya peka terhadap huruf besar atau kecil. Sayangnya, tidak semua robot mesin pencari dapat mengikuti aturan ini. Setidaknya file robot.txt berfungsi dengan baik pada mesin pencari seperti Bing, Yahoo, dan Google. Robot pencari yang ada di mesin pencarian tersebut secara ketat akan mengikuti instruksi dari REP dan robots.txt.
Bagi Anda yang ingin melakukan crawling dan indexing pada SEO perlu mengetahui secara pasti kegunaan dari file ini. Untuk itu, simak penjelasannya di artikel berikut ini.
Baca Juga: Kurangi Risiko Penyakit, Masyarakat Dimbau Rajin Donor Darah Sebagai Gaya Hidup Sehat
Apa Itu Robots.txt?
Robots.txt adalah sebuah file yang berisi sekumpulan instruksi untuk menjalankan bot mesin pencari. File robots.txt ditujukan untuk mengelola aktivitas bot seperti crawler web karena bot yang buruk tidak akan mengikuti petunjuk atau perintah yang telah diberikan.
File robots.txt layaknya tata tertib yang ada di kehidupan manusia. Tata tertib tersebut tidak memiliki kekuatan untuk menegakkan aturan yang tercantum, tetapi bot yang "baik" akan selalu mengikuti aturan. Sementara, yang "buruk" kemungkinan besar akan melanggar aturan tersebut dan segera diberikan penalti.
Bot adalah sebuah program komputer otomatis yang berinteraksi dengan situs web dan aplikasi. Terdapat bot yang baik dan bot yang buruk, khusus salah satu jenis bot yang baik dikenal sebagai bot crawler web. Bot ini akan melakukan "crawling" pada halaman situs web dan mengindeks konten sehingga laman tersebut dapat muncul di halaman hasil mesin pencari. File robots.txt membantu mengelola aktivitas crawler web ini agar tidak membebani server web yang sedang menghosting situs web atau mengindeks laman yang tidak ditujukan untuk ditampilkan untuk publik.
Baca Juga: Tes Swab Makin Cepat dan Mudah, Kabupaten Tegal Akhirnya Miliki Laboratorium PCR Sendiri
