پرش به محتوا
ابزارها

سازندهٔ robots.txt

از جمله خزنده‌های هوش مصنوعی‌ای که هیچ ابزار دیگری امکان روشن/خاموش‌کردنشان را نمی‌دهد

در مرورگر شما اجرا می‌شود. هیچ‌چیز آپلود نمی‌شود.

WordPress basics
AI crawlers

Blocking a bot here asks it not to crawl. It is a request, not a fence — a crawler that ignores robots.txt is unaffected by anything on this page. Also worth knowing: blocking a search-adjacent AI bot can remove you from that product's citations, which is sometimes traffic you wanted.

Sitemap
robots.txt

WordPress serves a virtual robots.txt unless a real file exists at your web root. Upload this file and it takes over.

درباره سازندهٔ robots.txt

یک robots.txt وردپرس با قواعد استاندارد بسازید — و کلیدهای جداگانه برای هر ربات: GPTBot، ClaudeBot، PerplexityBot، CCBot و Google-Extended. تصمیم بگیرید چه چیزی روی نوشته‌هایتان آموزش ببیند، هر بار با یک تیک.

FAQ

پرسش‌ها

آیا مسدود کردن Google-Extended به رتبه جستجوی من آسیب می‌زند؟

نه. Google-Extended کنترل می‌کند که آیا محتوای شما برای آموزش Gemini استفاده شود یا نه. هیچ اثری روی Googlebot، روی نمایه‌سازی یا روی جایگاه شما در جستجوی گوگل ندارد. این رایج‌ترین سوءتفاهم درباره دستورالعمل‌های خزنده‌های هوش مصنوعی است.

آیا robots.txt واقعاً جلوی خراش دادن سایت من توسط شرکت‌های هوش مصنوعی را می‌گیرد؟

جلوی آن‌هایی را که به آن احترام می‌گذارند می‌گیرد، که بیشتر خزنده‌های نام‌برده همین‌طورند. این یک درخواست است، نه یک حصار — خزنده‌ای که robots.txt را نادیده می‌گیرد اصلاً تحت تأثیر قرار نمی‌گیرد. هر کسی که robots.txt را به‌عنوان محافظت در برابر خراش دادن بفروشد، دارد اغراق می‌کند.

فایل robots.txt کجا می‌رود؟

در ریشه وب سایت شما، کنار wp-config.php، تا در example.com/robots.txt در دسترس باشد. وردپرس وقتی فایل واقعی‌ای وجود نداشته باشد یک robots.txt مجازی سرو می‌کند؛ آپلود یک فایل واقعی جای آن را می‌گیرد.