Paano I-block ang AI Crawlers sa WordPress (Totohanan)

Para pigilan ang GPTBot sa pag-crawl ng isang WordPress site, idagdag ang mga linyang ito sa iyong robots.txt:

User-agent: GPTBot
Disallow: /

Iyon na ang buong ayos para sa mga crawler na sumusunod sa tamang paraan. Pero maging totoo ka sa sarili mo tungkol sa kagagawa mo pa lang: ang robots.txt ay isang kahilingan, hindi bakod. Kinukuha ng GPTBot ng OpenAI ang file at sinusunod ito. Ang isang scraper na hindi gumagalang sa standard ay kinukuha rin ang parehong file at binabalewala ang bawat linya rito. Panatilihing nasa isip mo ang pagkakaibang ito bago ka gumugol ng isang hapon sa pag-aayos nito.

Kung gusto mong saklawin ang mga pangunahing AI crawler sa isang bagsakan, ang mga karaniwang user-agent token ay:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Bytespider
Disallow: /

Ang GPTBot ay ang training crawler ng OpenAI, ang CCBot ay Common Crawl (na pinagsasanayan ng maraming model sa dulo), ang ClaudeBot ay Anthropic, ang Google-Extended ay ang AI-training token ng Google, at ang Bytespider ay ByteDance. Tandaan na dalawa rito ang lumalabag na sa modelo ng magalang na paghiling: ang Bytespider at PerplexityBot ay parehong publikong nadokumento na nag-crawl ng mga site na nag-disallow sa kanila. Ang paglilista sa kanila ay nakakatulong pa rin laban sa mga tapat na bot; wala itong magagawa laban sa mga nagsisinungaling na tungkol sa kung sino talaga sila.

Paano talaga naghahain ang WordPress ng robots.txt

Dito tahimik na nawawalan ng silbi ang mga edit ng karamihan. Kung walang pisikal na robots.txt file sa iyong web root, gumagawa ang WordPress ng isa nang on the fly. Ang request ay hinahawakan ng do_robots() sa wp-includes/functions.php, at ang output ay dumadaan sa robots_txt filter. Ang checkbox na “Discourage search engines from indexing this site” sa ilalim ng Settings → Reading ay nagpapalit ng blog_public option, na siyang nagdudulot na maglabas ang virtual file na iyon ng Disallow: /.

Kaya maaari kang magdagdag ng mga panuntunan para sa AI crawler sa pamamagitan ng programa:

add_filter( 'robots_txt', function ( $output, $public ) {
    $output .= "User-agent: GPTBot\nDisallow: /\n";
    return $output;
}, 10, 2 );

Narito ang gotcha na kumakain ng oras: sa sandaling may umiiral na static na robots.txt file sa iyong web root, direktang inihahain ng Apache o nginx ang file na iyon at hindi na tumatakbo ang WordPress. Ang robots_txt filter, ang robots editor ng Yoast/Rank Math, ang Reading setting — lahat nalampasan. Kung nag-edit ka ng robots.txt sa isang plugin at hindi nagbago ang live na file, ito halos palaging ang dahilan. Tingnan ang https://yoursite.com/robots.txt sa isang private window at ihambing ito sa akala mong itinakda mo. Kung may tunay na file sa disk, i-edit ang file na iyon; walang kaugnayan ang filter.

Pag-aayos nito, sunod-sunod

Una, sumulat ng malinis na mga panuntunan. Ayusin ang syntax at ang listahan ng crawler nang tama para hindi mo aksidenteng na-block ang Googlebot. Ang aming robots.txt generator ang bumubuo ng AI-crawler block para sa iyo at nagpapakita ng eksaktong file na ipe-paste, na umiiwas sa kalituhang virtual-vs-physical dahil nagkakaroon ka ng isang authoritative na file.

Pangalawa, kumpirmahin na ito ay live. Kunin ang URL nang direkta. Huwag magtiwala sa preview pane ng plugin.

Pangatlo, kung kailangan mo ng pagpapatupad sa halip na magalang na paghiling, umakyat sa stack. Ang robots.txt ay nasa application layer at nakadepende sa kabutihang-loob ng bot. Para talagang tanggihan ang isang koneksyon, i-block ayon sa user agent sa server. Sa .htaccess:

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|CCBot|ClaudeBot|Bytespider) [NC]
RewriteRule .* - [F,L]
</IfModule>

Iyon ay nagbabalik ng 403 sa anumang nagpapadala ng mga user agent na iyon. Ang aming .htaccess generator ang makakabuo ng panuntunang ito. Unawain ang limitasyon nito, gayunpaman: ang mga user agent ay madaling i-spoof, kaya pinipigil lamang nito ang mga bot na sapat na tapat para tukuyin ang kanilang sarili — na siya ring mga bot na sumusunod na sa robots.txt. Ang tunay na matibay na opsyon ay isang CDN o WAF na nag-block ayon sa na-verify na crawler identity o IP range. Ang one-click na “Block AI Scrapers and Crawlers” managed rule ng Cloudflare ang pinakamadaling bersyon nito at gumagana sa edge, bago pa maabot ng request ang WordPress.

Ano ang hindi dapat gawin

Huwag i-block ang Google-Extended sa akalang pinipigil ka nito sa AI Overviews. Ito ang maling akala na dapat itama. Ang Google-Extended ay isang product token, hindi crawler. Kinokontrol lamang nito kung ginagamit ba ang iyong content para sanayin at i-ground ang mga Gemini model. Ayon mismo sa dokumentasyon ng Google, wala itong epekto sa kung paano ni-crawl, na-index, o niraranggo ang iyong mga pahina sa Google Search. At ang AI Overviews ay itinatayo mula sa regular na Search index na ni-crawl ng Googlebot — hindi mula sa Google-Extended. Ang pag-block sa Google-Extended ay hindi ka mag-aalis sa AI Overviews, at hindi ka nito magkakahalaga ng kahit isang posisyon sa Search. Ang tanging paraan para manatili sa labas ng AI Overviews ay i-block ang Googlebot o i-noindex ang pahina, na buburahin ka rin nang tuluyan sa Search. Halos hindi iyon ang trade na gusto mo.

Huwag ituring ang robots.txt bilang isang security control. Ito ay pampubliko at pang-payo lamang. Ang paglilista ng /wp-admin/ o isang private na path dito ay naglalathala lamang ng mapa kung saan titingin. Protektahan ang tunay na mga endpoint gamit ang authentication, hindi ng isang disallow na linya.

Huwag umasa sa mga noai / noimageai meta tag. Ipinanukala ang mga ito, hindi na-standardize, at iilang platform lamang ang gumagalang sa mga ito. Hindi ito isang pangkalahatang depensa.

Huwag ipagpalagay na may ginawang higit pa ang isang “block AI” plugin kaysa sa pagsulat ng robots.txt. Karamihan sa kanila ay sumusulat ng parehong mga linyang kaya mong isulat nang manu-mano at namamana ng parehong limitasyon. Basahin kung ano talaga ang binago ng plugin bago ka magtiwala rito.

Nakakalito pa rin?

Kung hindi lumalabas ang iyong mga edit, ang sagot ay halos palaging isang naligaw na pisikal na robots.txt sa web root na nag-o-override sa virtual na isa ng WordPress — kunin ang URL nang direkta at tingnan. Kung wala na ang mga sumusunod na bot pero patuloy kang tinatamaan ng mga scraper, naabot mo na ang hangganan ng magagawa ng robots.txt, at ang susunod na hakbang ay isang WAF o CDN rule na nag-block ayon sa na-verify na identity sa halip na magalang na paghiling.