Developer Generator robots.txt
Susun berkas robots.txt yang benar lewat pilihan yang jelas, lengkap dengan aturan per bot, jalur yang diblokir, dan alamat peta situs.
Group 1
Seconds. Google ignores this; Bing and Yandex honour it.
One path per line.
Exceptions inside a disallowed folder.
One per line, absolute.
Adds GPTBot, ClaudeBot, Google-Extended, CCBot and anthropic-ai. These are honoured voluntarily. Robots.txt is a request, not an access control.
robots.txt
7 linesUser-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /*?s= Sitemap: https://example.com/sitemap.xml
Disallow is not noindex. Blocking a URL in robots.txt stops it being crawled, but it can still be indexed from external links, and because the crawler cannot fetch the page, it will never see a noindex tag on it. To keep a page out of the index, allow crawling and use <meta name="robots" content="noindex">. To keep it private, require authentication.
Ready. Runs locally on your device.
File Anda tetap berada di perangkat Anda. Alat ini bekerja langsung di browser Anda, menggunakan perangkat Anda untuk memproses file Anda. Tidak ada yang dikirim ke server kami, dan kami tidak pernah menerima, menyimpan, atau melihat file maupun angka Anda.
Bagikan hasil
Kutip
Kutip halaman ini
Reembun. (2026, 31 Juli). Generator robots.txt. https://reembun.com/id/generator-robots-txt
Cara menggunakannya
Tentukan crawlernya
User-agent menyebut siapa yang terikat aturan itu. Tanda bintang mencakup semua crawler yang tidak punya blok sendiri.
Daftarkan jalurnya
Satu jalur per baris pada Disallow. Allow dipakai untuk mengecualikan bagian tertentu di dalam folder yang Anda tutup.
Tambahkan sitemap
Tulis URL absolut, satu per baris. Baris inilah yang memberi tahu crawler di mana peta situs Anda berada.
Salin lalu pasang
Aktifkan blok untuk crawler pelatihan AI bila Anda ingin menutupnya. Simpan hasilnya sebagai robots.txt di root domain, karena hanya lokasi itu yang dibaca.
Bentuk dasar
User-agent: *
Disallow: /admin/
Disallow: /cari?
Allow: /
Sitemap: https://contoh.id/sitemap-index.xmlUser-agent menyebut bot yang dituju, tanda bintang berarti semua. Disallow melarang perayapan sebuah jalur. Allow membuat pengecualian di dalam jalur yang dilarang. Sitemap menunjuk peta situs dan berlaku untuk semua bot.
Perbedaan yang menentukan
| Tujuan | Cara yang benar | Cara yang salah |
|---|---|---|
| Halaman tidak muncul di hasil pencarian | meta robots noindex, halaman tetap boleh dirayapi | Disallow di robots.txt |
| Hemat anggaran perayapan | Disallow pada jalur bernilai rendah | noindex saja |
| Halaman rahasia | Autentikasi di server | Disallow di robots.txt |
| Berkas gambar tidak diindeks | X-Robots-Tag pada header | Disallow |
Baris pertama adalah kesalahan yang paling sering terjadi. Bila Anda memasang noindex pada sebuah halaman lalu juga memblokirnya di robots.txt, Google tidak akan pernah membaca tag noindex itu, dan halaman tersebut bisa bertahan di indeks tanpa batas waktu.
Yang layak diblokir
- Halaman hasil pencarian internal. Jumlahnya tak terbatas dan nilainya nol untuk mesin pencari.
- Halaman filter dan urutan. Kombinasi parameter menghasilkan ribuan alamat yang isinya serupa.
- Keranjang belanja dan halaman pembayaran. Tidak ada gunanya diindeks.
- Berkas sementara dan pratinjau. Terutama alamat pratinjau dari sistem manajemen konten.
Yang jangan diblokir
- Berkas CSS dan JavaScript. Google merender halaman Anda seperti browser. Memblokir aset membuat halaman terlihat rusak di mata Google dan bisa merugikan peringkat.
- Gambar yang ingin muncul di pencarian gambar.
- Halaman yang punya tag noindex, seperti dijelaskan di atas.
Bot yang sering diatur
| Nama | Milik |
|---|---|
| Googlebot | Pencarian Google |
| Googlebot-Image | Pencarian gambar Google |
| Bingbot | Bing |
| GPTBot | OpenAI, untuk pelatihan model |
| CCBot | Common Crawl |
| ClaudeBot | Anthropic |
| PerplexityBot | Perplexity |
Empat nama terakhir semakin sering diatur oleh penerbit yang ingin mengendalikan pemakaian isinya untuk pelatihan model bahasa. Keputusan itu bersifat kebijakan, bukan teknis, dan sebaiknya diambil dengan sadar dan bukan karena meniru berkas orang lain.
Memeriksa hasilnya
Setelah mengunggah, buka contoh.id/robots.txt di browser untuk memastikan berkasnya benar benar terlayani sebagai teks polos. Lalu periksa lewat Google Search Console, yang menunjukkan bagaimana Googlebot menafsirkan aturannya, termasuk aturan mana yang menang bila ada yang bertentangan.
Privasi
Berkas disusun sepenuhnya di dalam browser Anda. Tidak ada struktur situs atau daftar jalur yang dikirim ke server kami.
Pertanyaan umum
Apakah robots.txt bisa menyembunyikan halaman dari hasil pencarian?
Tidak, dan ini kesalahpahaman yang paling sering merugikan. Disallow hanya mencegah crawler merayapi halaman, bukan mengindeksnya. Halaman yang diblokir tetap bisa muncul di hasil pencarian bila ada tautan dari luar. Untuk benar benar mengeluarkan halaman dari indeks, pakai meta robots noindex, dan halaman itu justru harus boleh dirayapi agar tag noindex terbaca.
Di mana berkas robots.txt harus diletakkan?
Tepat di akar domain, yaitu di alamat contoh.id/robots.txt. Berkas di subfolder tidak akan dibaca. Setiap subdomain memerlukan berkasnya sendiri, karena blog.contoh.id dan contoh.id dianggap dua host yang berbeda.
Apakah robots.txt mengamankan halaman rahasia?
Sama sekali tidak. Berkas ini terbuka untuk umum dan justru menjadi daftar tempat yang menarik untuk diperiksa. Jangan pernah mencantumkan jalur halaman admin atau berkas rahasia di sana. Amankan dengan autentikasi, bukan dengan robots.txt.
Bagaimana aturan yang bertentangan diselesaikan?
Google memakai aturan yang paling spesifik, yaitu yang jalurnya paling panjang. Bila panjangnya sama, Allow menang atas Disallow. Blok User-agent yang menyebut nama bot tertentu sepenuhnya menggantikan blok bintang untuk bot itu, sehingga aturan umum tidak diwarisi.
Perlukah mencantumkan sitemap di robots.txt?
Perlu, karena ini cara paling sederhana memberi tahu semua mesin pencari sekaligus di mana peta situs Anda berada. Baris Sitemap bersifat global dan tidak terikat pada blok User-agent mana pun. Gunakan alamat absolut lengkap.
Terakhir ditinjau
