Apa itu Robots Txt dan Gimana Cara Menggunakannya?

Apa itu Robots Txt – Salah satu dari sekian banyak teknik optimasi SEO berjenis Technical SEO, adalah dengan mengoptimalkan Robots Txt. Ya, istilah ini menjadi istilah yang akan sering Anda jumpai ketika pertama kali mendalami SEO Marketing. Tidak bisa dipungkiri, robots txt memiliki peranan penting untuk menentukan halaman website yang mana bisa di-index dan mana yang tidak perlu di-index.

Bukankah Google akan otomatis melakukan indexing jika konten Anda sudah relevan dengan search intent suatu keyword. Memang benar, tapi apa jadinya jika terdapat informasi yang sebenarnya tidak ingin Anda munculkan sebagai bagian dari konten yang tampil dari halaman pertama Google?. Di sinilah peran penting dari robots txt.

Apa itu Robots Txt?

Seperti yang sudah MinTiv jelaskan di awal, robots txt adalah bagian yang memerintahkan halaman website mana yang bisa di-index dan mana yang tidak perlu kepada mesin crawling Google. Robots txt sendiri terdiri dari 2 kata, yakni robots dan txt yang berarti teks. 

Artinya perintah yang diberikan oleh robot tersebut kepada mesin crawling Google, berbentuk teks atau file text.

Penggunaan robots txt sendiri dimaksudkan untuk mengatasi kekurangan Googlebot Spider yang memiliki batasan crawling. Artinya, jika kita tidak membantu Googlebot Spider tersebut, maka bisa saja mereka mengindex halaman yang sebenarnya tidak perlu di-index. Contohnya tag pada artikel.

Selain berfungsi sebagai petunjuk kepada Googlebot Spider, Robots txt juga berfungsi untuk mencegah adanya duplikat konten yang sama.

Istilah Penting dalam Robots Txt

Terdapat banyak istilah penting yang ada di dalam robots txt. Mempelajarinya, tentu akan mempermudah Anda dalam proses mempelajari technical SEO dari tingkat paling bawah.

Berikut beberapa istilah penting dalam robots txt yang harus Anda ketahui;

• User-agent. Bagian yang menjelaskan tentang jenis atau nama robot diberikan instruksi untuk crawling.
• Disallow. Bagian yang memberikan perintah kepada user-agent untuk tidak lakukan crawling pada halaman tertentu.
• Allow. Kebalikan dari istilah sebelumnya. Bertugas untuk memberikan izin kepada mesin pencari Google untuk lakukan indexing pada halaman manapun.
• Crawl-delay. Istilah yang menyangkut masalah kecepatan crawling Google.
• Sitemap, untuk informasi lokasi peta situs XML (Extensible Markup Language) yang berkaitan dengan URL (Uniform Resource Locator).

Cara Setting Robots Txt

Terdapat dua cara untuk dapat mengatur txt. Di sini MinTiv akan memberikan penjelasan 2 dua platform website ternama, yakni WordPress dan juga Blogspot.

Untuk Anda yang menggunakan WordPress, Anda bisa dengan mudah melakukan pengaturan robots txt memanfaatkan plugin Yoast SEO, dan juga All In One SEO Pack. Anda juga bisa melakukannya dengan cara manual, yakni;

1. Cara Manual

• Buat file dan simpan dengan nama robots.txt terlebih dahulu. Adapun isinya seperti di bawah ini.

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.alamatwebsitekamu.com/sitemap_index.xml

• Setelah itu, unggah file tersebut di pengaturan FTP Cpanel Anda, atau juga melalui admin hosting.
• Lakukan testing dengan nama domain/robots.txt.
• Setelah itu submit robots.txt yang sudah jadi ke Google Search Console.

2. Menggunakan Plugin Yoast SEO

• Instal Plugin Yoast SEO terlebih dahulu.
• Klik SEO-Tools, klik File Editor. 
• Dari File Editor, Anda akan diberi arahan untuk membuat file robots txt.

3. Setting Robots Txt untuk Blogspot

• Masuk ke dalam pengaturan blog, lalu pilih preferences.
• Cari customs robots text, dan pilih enable lalu yes.
• Selanjutnya, Anda tinggal memasukan pengaturan file robots txt seperti di bawah ini:

User-agent: *

Allow: /

Disallow: /search

Sitemap: https://www.domainblogAnda.com/sitemap.xml

Baca Juga: Keuntungan Menjalankan SEO Website

Kesalahan Umum dalam Menggunakan Robots.txt

Kesalahan teknis yang terjadi pada pengaturan robots.txt dapat membuat halaman Anda tidak dapat dirayapi atau bahkan hilang dari hasil pencarian. Memahami risiko ini membantu Anda menjaga agar proses crawling tetap optimal dan aman bagi performa SEO.

Memblokir Folder Penting Tanpa Sengaja

Ketika Anda menambahkan aturan Disallow yang tidak tepat, crawler dapat terhalang untuk mengakses halaman atau folder yang sebenarnya penting. Kondisi ini dapat mengurangi visibilitas organik dan membuat konten utama Anda gagal muncul di hasil pencarian.

Menggunakan Disallow untuk Konten yang Harus Noindex

Disallow hanya mencegah crawler mengakses halaman, bukan menghentikan halaman tersebut agar tidak diindeks. Jika Anda ingin mencegah kemunculan halaman di hasil pencarian, Anda perlu menggunakan meta noindex. Kesalahan memahami perbedaan ini dapat menyebabkan halaman sensitif tetap muncul di mesin pencari.

Inilah penjelasan terperinci mengenai robots txt. Apabila Anda menginginkan Jasa Optimasi Website Terbaik yang dapat membantu Anda mengoptimalkan konversi dari website, hubungi Creativism.id.

Creativism menyediakan layanan Digital Marketing untuk perorangan, UMKM, UKM, hingga perusahaan besar yang mencari partner untuk menghandle social media, website, SEO, dan menyediakan seluruh kebutuhan promosi hingga IT Solution untuk bisnis Anda. Hubungi mereka di nomor WhatsApp 6281 22222 7920.