Генератор robots.txt
Включая ИИ-краулеров, которых больше нигде нельзя переключить
Работает в вашем браузере. Ничего не загружается.
Об инструменте «Генератор robots.txt»
Сгенерируйте robots.txt для WordPress со стандартными правилами — и с отдельными переключателями для GPTBot, ClaudeBot, PerplexityBot, CCBot и Google-Extended. Решайте, что обучается на ваших текстах, по одному флажку за раз.
Похожие
Другие инструменты, которые могут пригодиться
Частые вопросы
Вопросы
Вредит ли блокировка Google-Extended моим позициям в поиске?
Нет. Google-Extended управляет тем, используется ли ваш контент для обучения Gemini. Он никак не влияет на Googlebot, на индексацию или на вашу позицию в поиске Google. Это самое частое заблуждение насчёт директив для AI-краулеров.
Действительно ли robots.txt остановит AI-компании от скрапинга сайта?
Он останавливает тех, кто его уважает, — а это большинство из названных. Это просьба, а не забор: краулер, который игнорирует robots.txt, вообще не затронут. Кто продаёт robots.txt как защиту от скрапинга — тот преувеличивает.
Куда кладётся файл robots.txt?
В корень сайта, рядом с wp-config.php, чтобы он открывался по адресу example.com/robots.txt. WordPress отдаёт виртуальный robots.txt, когда реального файла нет; загрузка настоящего файла его заменяет.