Generator robots.txt
Termasuk crawler AI yang tidak bisa Anda atur di tempat lain
Berjalan di browser kamu. Tidak ada yang diunggah.
Tentang Generator robots.txt
Hasilkan robots.txt WordPress dengan aturan standar — plus sakelar per-bot untuk GPTBot, ClaudeBot, PerplexityBot, CCBot, dan Google-Extended. Tentukan apa yang boleh dilatih dari tulisan Anda, satu kotak centang setiap kali.
Terkait
Tools lain yang mungkin kamu butuhkan
FAQ
Pertanyaan
Apakah memblokir Google-Extended merugikan ranking pencarian saya?
Tidak. Google-Extended mengontrol apakah kontenmu dipakai untuk melatih Gemini. Itu tidak berefek pada Googlebot, pada indexing, atau pada posisimu di Google Search. Ini adalah kesalahpahaman paling umum soal direktif crawler AI.
Apakah robots.txt benar-benar menghentikan perusahaan AI meng-scrape situs saya?
Itu menghentikan yang menghormatinya, dan itu mencakup sebagian besar yang disebutkan namanya. Ini permintaan, bukan pagar — crawler yang mengabaikan robots.txt sama sekali tidak terpengaruh. Siapa pun yang menjual robots.txt sebagai perlindungan dari scraping melebih-lebihkannya.
Di mana file robots.txt ditaruh?
Di web root situsmu, bersebelahan dengan wp-config.php, sehingga bisa diakses di example.com/robots.txt. WordPress menyajikan robots.txt virtual saat tidak ada file asli; mengunggah file asli akan menggantikannya.