Robots.txt Generator
Robots.txt Generator membuat file robots.txt dari aturan allow, disallow, dan sitemap yang Anda tentukan. Tambahkan direktif per user-agent, atur crawl delay, lalu salin atau unduh file-nya — semuanya di browser Anda.
Terakhir diperbarui: July 2026
Robots.txt generator membuat file robots.txt yang memberi tahu crawler mesin pencari bagian mana dari situs Anda yang boleh atau tidak boleh diakses. Tambahkan aturan allow/disallow untuk user-agent tertentu, URL sitemap, dan crawl delay opsional. File yang dihasilkan dibuat langsung di browser Anda dan siap ditempel — tidak ada yang diunggah.
Cara menggunakan Robots.txt Generator
- Tambahkan aturan: pilih user-agent, lalu tambahkan path untuk allow atau disallow.
- Opsional, tambahkan URL sitemap dan crawl delay Anda.
- Salin robots.txt yang dihasilkan atau unduh file-nya.
Pertanyaan yang sering diajukan
Di mana saya harus menaruh file robots.txt saya?
Unggah ke root website Anda (contoh.com/robots.txt). Sebagian besar platform CMS dan hosting memungkinkan Anda menambahkannya lewat file manager atau setting.
Bisakah saya memblokir crawler tertentu?
Ya — setiap aturan diterapkan ke user-agent tertentu. Anda bisa memblokir Googlebot sambil tetap mengizinkan Bingbot, misalnya.
Apakah data saya diunggah?
Tidak — robots.txt dibuat sepenuhnya di browser Anda.
alat developer terkait
SERP Preview Tool
Lihat pratinjau tampilan halaman Anda di hasil pencarian Google. Uji title tag, meta description, dan URL — lihat persis apa yang dilihat pengguna. Gratis, langsung di browser.
Generator Slug URL
Ubah judul atau teks apa pun menjadi slug URL yang bersih dan ramah SEO. Huruf kecil, bertanda hubung, dan bebas karakter khusus. Gratis dan instan.
UUID Generator
Generate UUID (GUID) v4 acak secara massal dan copy dengan sekali klik. Gratis, instan, dan sepenuhnya di browser menggunakan crypto API yang aman.
Base64 Encode / Decode
Encode teks ke Base64 atau decode Base64 kembali ke teks secara instan. Gratis, private, di browser — mendukung Unicode (UTF-8) penuh.