WordPress'te AI Tarayıcıları Nasıl Engellenir (Dürüstçe)

GPTBot’un bir WordPress sitesini taramasını durdurmak için robots.txt dosyanıza şu satırları ekleyin:

User-agent: GPTBot
Disallow: /

Kurallara uyan tarayıcılar için çözümün tamamı bu kadar. Ama az önce ne yaptığınız konusunda kendinize karşı dürüst olun: robots.txt bir çit değil, bir ricadır. OpenAI’ın GPTBot’u dosyayı çeker ve buna uyar. Standarda uymayan bir kazıyıcı ise aynı dosyayı çeker ve içindeki her satırı görmezden gelir. Bunu ayarlamakla bir öğleden sonranızı harcamadan önce bu ayrımı gözünüzün önünde tutun.

Belli başlı AI tarayıcılarını tek seferde kapsamak isterseniz, yaygın user-agent değerleri şunlardır:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Bytespider
Disallow: /

GPTBot OpenAI’ın eğitim tarayıcısıdır, CCBot Common Crawl’dır (birçok model dolaylı olarak bunun üzerinden eğitilir), ClaudeBot Anthropic’e aittir, Google-Extended Google’ın AI eğitim değeridir ve Bytespider ByteDance’e aittir. Şunu unutmayın: bu listedekilerden ikisi kibar-rica modelini zaten çiğniyor: Bytespider ve PerplexityBot, kendilerini engelleyen siteleri taradıkları kamuoyu önünde belgelendi. Yine de bunları listelemek dürüst botlara karşı işe yarar; kim olduğu konusunda zaten yalan söyleyenlere karşı hiçbir işe yaramaz.

WordPress robots.txt’yi gerçekte nasıl sunar

İnsanların çoğunun yaptığı düzenlemelerin sessizce hiçbir işe yaramadığı yer burasıdır. Web kök dizininizde fiziksel bir robots.txt dosyası yoksa, WordPress bunu anlık olarak oluşturur. İstek wp-includes/functions.php içindeki do_robots() tarafından işlenir ve çıktı robots_txt filtresinden geçer. Ayarlar → Okuma altındaki “Arama motorlarını bu siteyi dizine eklemekten caydır” onay kutusu blog_public seçeneğini değiştirir; o sanal dosyanın Disallow: / çıktısını vermesini sağlayan da budur.

Yani AI tarayıcı kurallarını programatik olarak ekleyebilirsiniz:

add_filter( 'robots_txt', function ( $output, $public ) {
    $output .= "User-agent: GPTBot\nDisallow: /\n";
    return $output;
}, 10, 2 );

İşte saatlerinizi yiyip bitiren tuzak: web kök dizininizde statik bir robots.txt dosyası var olduğu anda, Apache ya da nginx o dosyayı doğrudan sunar ve WordPress hiç çalışmaz. robots_txt filtresi, Yoast/Rank Math robots düzenleyicisi, Okuma ayarı — hepsi devre dışı kalır. Bir eklentide robots.txt’yi düzenlediyseniz ve canlı dosya hiç değişmediyse, neredeyse her zaman sebep budur. https://siteniz.com/robots.txt adresini gizli pencerede kontrol edin ve ayarladığınızı sandığınız şeyle karşılaştırın. Diskte gerçek bir dosya varsa, o dosyayı düzenleyin; filtrenin bir önemi yoktur.

Sırayla düzeltme

Önce temiz kurallar yazın. Yanlışlıkla Googlebot’u engellemeyecek şekilde söz dizimini ve tarayıcı listesini doğru yapın. robots.txt oluşturucumuz AI tarayıcı bloğunu sizin için oluşturur ve yapıştırmanız gereken tam dosyayı gösterir; böylece elinizde tek ve yetkili bir dosya kaldığından sanal-fiziksel karmaşasını da baştan aşarsınız.

İkinci olarak, canlı olduğunu doğrulayın. URL’yi doğrudan çekin. Eklentinin önizleme panosuna güvenmeyin.

Üçüncüsü, kibar bir rica değil de fiili bir uygulama gerekiyorsa, katmanda yukarı çıkın. robots.txt uygulama katmanında yaşar ve botun iyi niyetine bağlıdır. Bir bağlantıyı gerçekten reddetmek için sunucuda user-agent üzerinden engelleyin. .htaccess içinde:

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|CCBot|ClaudeBot|Bytespider) [NC]
RewriteRule .* - [F,L]
</IfModule>

Bu, o user-agent’ları gönderen her şeye 403 döndürür. .htaccess oluşturucumuz bu kuralı sizin için hazırlayabilir. Ancak sınırını iyi anlayın: user-agent’lar çok kolay taklit edilir, dolayısıyla bu yalnızca kendini dürüstçe tanıtan botları durdurur — ki bunlar zaten robots.txt’ye uyan botların ta kendisidir. Gerçekten sağlam seçenek, doğrulanmış tarayıcı kimliğine veya IP aralığına göre engelleme yapan bir CDN ya da WAF’tır. Cloudflare’in tek tıkla etkinleşen “Block AI Scrapers and Crawlers” yönetilen kuralı bunun en az emek gerektiren versiyonudur ve istek WordPress’e ulaşmadan önce, uç noktada çalışır.

Yapılmaması gerekenler

Google-Extended’ı AI Overviews’dan uzak kalacağınızı sanarak engellemeyin. Düzeltmeye değer asıl yanılgı budur. Google-Extended bir tarayıcı değil, bir ürün değeridir. Yalnızca içeriğinizin Gemini modellerini eğitmek ve temellendirmek için kullanılıp kullanılmayacağını denetler. Google’ın kendi dokümantasyonuna göre, sayfalarınızın Google Arama’da nasıl tarandığı, dizine eklendiği veya sıralandığı üzerinde hiçbir etkisi yoktur. Ve AI Overviews, Googlebot’un taradığı normal Arama dizininden oluşturulur — Google-Extended’dan değil. Google-Extended’ı engellemek sizi AI Overviews’dan çıkarmaz ve Arama’da tek bir sıralamaya bile mal olmaz. AI Overviews’ın dışında kalmanın tek yolu Googlebot’u engellemek veya sayfaya noindex uygulamaktır; bu da sizi tümüyle Arama’dan siler. Bu neredeyse hiçbir zaman isteyeceğiniz bir takas değildir.

robots.txt’yi bir güvenlik denetimi gibi görmeyin. Herkese açık ve bilgilendiricidir. İçine /wp-admin/ veya özel bir yol yazmak yalnızca nereye bakılacağının haritasını yayımlar. Gerçek uç noktaları bir disallow satırıyla değil, kimlik doğrulamayla koruyun.

noai / noimageai meta etiketlerine güvenmeyin. Bunlar önerildi, standartlaştırılmadı ve yalnızca birkaç platform bunlara uyuyor. Genel bir savunma değildirler.

Bir “AI engelle” eklentisinin robots.txt yazmaktan fazlasını yaptığını varsaymayın. Çoğu, elle yazabileceğiniz aynı satırları yazar ve aynı sınırlamayı devralır. Ona güvenmeden önce eklentinin gerçekte neyi değiştirdiğini okuyun.

Hâlâ takıldınız mı?

Düzenlemeleriniz görünmüyorsa, cevap neredeyse her zaman web kök dizininde WordPress’in sanal dosyasını geçersiz kılan başıboş bir fiziksel robots.txt dosyasıdır — URL’yi doğrudan çekip kontrol edin. Uyumlu botlar gittiği hâlde kazıyıcılar sizi vurmaya devam ediyorsa, robots.txt’nin yapabileceğinin tavanına ulaşmışsınız demektir; bir sonraki hamle, kibarca rica etmek yerine doğrulanmış kimliğe göre engelleyen bir WAF veya CDN kuralıdır.