WordPress میں AI کرالرز کو کیسے بلاک کریں (سچائی کے ساتھ)

GPTBot کو کسی WordPress سائٹ کرال کرنے سے روکنے کے لیے، اپنی robots.txt میں یہ لائنیں شامل کریں:

User-agent: GPTBot
Disallow: /

بھلے مانس کرالرز کے لیے پورا حل بس یہی ہے۔ لیکن خود سے ایماندار رہیں کہ آپ نے ابھی جو کیا وہ کیا ہے: robots.txt ایک درخواست ہے، دیوار نہیں۔ OpenAI کا GPTBot فائل حاصل کرتا ہے اور اس کی پابندی کرتا ہے۔ ایک ایسا اسکریپر جو معیار کا احترام نہیں کرتا وہ بھی یہی فائل حاصل کرتا ہے اور اس کی ہر لائن کو نظرانداز کر دیتا ہے۔ اس پر ایک دوپہر لگانے سے پہلے یہ فرق سامنے رکھیں۔

اگر آپ ایک ہی بار میں بڑے AI کرالرز کا احاطہ کرنا چاہتے ہیں، تو عام user-agent ٹوکن یہ ہیں:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Bytespider
Disallow: /

GPTBot OpenAI کا ٹریننگ کرالر ہے، CCBot Common Crawl ہے (جس پر آگے چل کر بہت سے ماڈلز ٹرین ہوتے ہیں)، ClaudeBot Anthropic ہے، Google-Extended گوگل کا AI-ٹریننگ ٹوکن ہے، اور Bytespider ByteDance ہے۔ نوٹ کریں کہ ان میں سے دو تو پہلے ہی مہذب درخواست والے اصول کو توڑتے ہیں: Bytespider اور PerplexityBot دونوں کے بارے میں عوامی طور پر دستاویزی ثبوت موجود ہیں کہ انہوں نے ایسی سائٹوں کو کرال کیا جنہوں نے انہیں disallow کیا ہوا تھا۔ انہیں فہرست میں شامل کرنا ایماندار بوٹس کے خلاف پھر بھی مددگار ہے؛ لیکن ان کے خلاف کچھ نہیں کرتا جو پہلے ہی اپنی شناخت کے بارے میں جھوٹ بول رہے ہیں۔

WordPress دراصل robots.txt کیسے پیش کرتا ہے

یہیں پر زیادہ تر لوگوں کی ترامیم خاموشی سے بے اثر رہ جاتی ہیں۔ اگر آپ کے ویب روٹ میں کوئی جسمانی robots.txt فائل موجود نہیں ہے، تو WordPress موقع پر ہی ایک بنا دیتا ہے۔ یہ درخواست wp-includes/functions.php میں موجود do_robots() سنبھالتا ہے، اور آؤٹ پٹ robots_txt فلٹر سے گزرتا ہے۔ Settings → Reading کے تحت موجود “Discourage search engines from indexing this site” چیک باکس blog_public آپشن کو پلٹتا ہے، اور یہی وہ چیز ہے جو اس ورچوئل فائل سے Disallow: / نکلواتی ہے۔

چنانچہ آپ AI-کرالر قواعد پروگرام کے ذریعے شامل کر سکتے ہیں:

add_filter( 'robots_txt', function ( $output, $public ) {
    $output .= "User-agent: GPTBot\nDisallow: /\n";
    return $output;
}, 10, 2 );

اب وہ پیچ جو گھنٹے کھا جاتا ہے: جس لمحے آپ کے ویب روٹ میں کوئی سٹیٹک robots.txt فائل موجود ہوتی ہے، Apache یا nginx اسی فائل کو براہ راست پیش کر دیتا ہے اور WordPress کبھی چلتا ہی نہیں۔ robots_txt فلٹر، Yoast/Rank Math کا robots ایڈیٹر، Reading کی سیٹنگ — یہ سب نظرانداز ہو جاتے ہیں۔ اگر آپ نے کسی پلگ ان میں robots.txt کو ایڈٹ کیا اور لائیو فائل کبھی تبدیل نہ ہوئی، تو تقریباً ہمیشہ وجہ یہی ہوتی ہے۔ کسی پرائیویٹ ونڈو میں https://yoursite.com/robots.txt چیک کریں اور اس کا موازنہ اس سے کریں جو آپ سمجھتے ہیں کہ آپ نے سیٹ کیا تھا۔ اگر ڈسک پر کوئی حقیقی فائل ہے، تو اسی فائل کو ایڈٹ کریں؛ فلٹر بے معنی ہے۔

اسے ترتیب سے ٹھیک کرنا

پہلے، صاف قواعد لکھیں۔ syntax اور کرالر کی فہرست درست کر لیں تاکہ آپ غلطی سے Googlebot کو بلاک نہ کر بیٹھیں۔ ہمارا robots.txt جنریٹر آپ کے لیے AI-کرالر بلاک بنا دیتا ہے اور paste کرنے کے لیے بالکل درست فائل دکھاتا ہے، جو ورچوئل بمقابلہ جسمانی والی الجھن کو ختم کر دیتا ہے کیونکہ آخر میں آپ کے پاس ایک ہی مستند فائل ہوتی ہے۔

دوسرا، تصدیق کریں کہ یہ لائیو ہے۔ URL کو براہ راست حاصل کریں۔ پلگ ان کے پیش نظارہ پین پر بھروسہ نہ کریں۔

تیسرا، اگر آپ کو مہذب درخواست کے بجائے نفاذ چاہیے، تو اسٹیک میں اوپر جائیں۔ robots.txt ایپلیکیشن پرت پر رہتا ہے اور بوٹ کی نیک نیتی پر منحصر ہے۔ کنکشن کو دراصل مسترد کرنے کے لیے، سرور پر user agent کے ذریعے بلاک کریں۔ .htaccess میں:

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|CCBot|ClaudeBot|Bytespider) [NC]
RewriteRule .* - [F,L]
</IfModule>

یہ ان user agents کو بھیجنے والی ہر چیز کو 403 لوٹاتا ہے۔ ہمارا .htaccess جنریٹر یہ قاعدہ ترتیب دے سکتا ہے۔ البتہ اس کی حد سمجھ لیں: user agents کو معمولی طریقے سے جعلی بنایا جا سکتا ہے، لہٰذا یہ صرف انہی بوٹس کو روکتا ہے جو اتنے ایماندار ہوں کہ اپنی شناخت ظاہر کریں — اور یہ وہی بوٹس ہیں جو پہلے ہی robots.txt کی پابندی کرتے ہیں۔ حقیقی طور پر مضبوط آپشن ایک CDN یا WAF ہے جو تصدیق شدہ کرالر شناخت یا IP رینج کے ذریعے بلاک کرے۔ Cloudflare کا ایک کلک والا “Block AI Scrapers and Crawlers” منظم شدہ قاعدہ اس کی سب سے کم محنت والی صورت ہے اور edge پر کام کرتا ہے، درخواست کے WordPress تک پہنچنے سے بھی پہلے۔

کیا نہیں کرنا چاہیے

Google-Extended کو یہ سمجھ کر بلاک نہ کریں کہ اس سے آپ AI Overviews سے باہر رہیں گے۔ یہ وہ غلط فہمی ہے جسے درست کرنا ضروری ہے۔ Google-Extended ایک پروڈکٹ ٹوکن ہے، کرالر نہیں۔ یہ صرف اس بات کو کنٹرول کرتا ہے کہ آپ کا مواد Gemini ماڈلز کو ٹرین اور گراؤنڈ کرنے کے لیے استعمال ہو یا نہ ہو۔ خود گوگل کی دستاویزات کے مطابق، اس کا اس بات پر کوئی اثر نہیں کہ آپ کے صفحات Google Search میں کیسے کرال، انڈیکس یا رینک ہوتے ہیں۔ اور AI Overviews عام Search انڈیکس سے بنتے ہیں جسے Googlebot کرال کرتا ہے — Google-Extended سے نہیں۔ Google-Extended کو بلاک کرنا آپ کو AI Overviews سے نہیں ہٹائے گا، اور Search میں آپ کی ایک بھی پوزیشن کا نقصان نہیں کرے گا۔ AI Overviews سے باہر رہنے کا واحد طریقہ Googlebot کو بلاک کرنا یا صفحے کو noindex کرنا ہے، جو آپ کو Search سے بھی مکمل طور پر حذف کر دیتا ہے۔ یہ تقریباً کبھی ایسا سودا نہیں ہوتا جو آپ کرنا چاہیں گے۔

robots.txt کو سیکیورٹی کنٹرول نہ سمجھیں۔ یہ عوامی اور مشاورتی ہے۔ اس میں /wp-admin/ یا کسی نجی راستے کی فہرست دینا محض یہ نقشہ شائع کر دیتا ہے کہ کہاں دیکھنا ہے۔ حقیقی endpoints کو authentication سے محفوظ کریں، کسی disallow لائن سے نہیں۔

noai / noimageai میٹا ٹیگز پر بھروسہ نہ کریں۔ یہ تجویز کیے گئے تھے، معیاری نہیں بنے، اور صرف چند ایک پلیٹ فارمز ہی ان کا احترام کرتے ہیں۔ یہ کوئی عمومی دفاع نہیں ہیں۔

یہ فرض نہ کریں کہ کسی “block AI” پلگ ان نے robots.txt لکھنے سے زیادہ کچھ کیا ہے۔ ان میں سے زیادہ تر وہی لائنیں لکھتے ہیں جو آپ ہاتھ سے لکھ سکتے تھے اور وہی حد اپنا لیتے ہیں۔ پلگ ان پر بھروسہ کرنے سے پہلے پڑھیں کہ اس نے دراصل کیا تبدیل کیا۔

پھر بھی پھنسے ہوئے ہیں؟

اگر آپ کی ترامیم دکھائی نہیں دے رہیں، تو جواب تقریباً ہمیشہ یہی ہوتا ہے کہ ویب روٹ میں کوئی آوارہ جسمانی robots.txt WordPress کی ورچوئل والی فائل کو اوور رائیڈ کر رہی ہے — URL کو براہ راست حاصل کریں اور چیک کریں۔ اگر تعمیل کرنے والے بوٹس تو چلے گئے ہیں لیکن اسکریپرز مسلسل آپ کو ہٹ کر رہے ہیں، تو آپ اس حد پر پہنچ گئے ہیں جو robots.txt کر سکتا ہے، اور اگلا قدم ایک WAF یا CDN قاعدہ ہے جو مہذب درخواست کے بجائے تصدیق شدہ شناخت کے ذریعے بلاک کرے۔