跳到正文
工具

robots.txt 生成器

包含别处都不让你切换的 AI 爬虫

在你的浏览器里运行。什么都不上传。

WordPress 基础设置
AI 爬虫

在这里屏蔽某个机器人,只是请求它不要抓取。这是一种请求,而不是一道栅栏——无视 robots.txt 的爬虫,不会受到本页面上任何设置的影响。还有一点值得知道:屏蔽某个与搜索相关的 AI 机器人,可能会让你从该产品的引用来源里消失,而那有时恰恰是你想要的流量。

站点地图
robots.txt

除非你的网站根目录下存在一个真实文件,否则 WordPress 会提供一个虚拟的 robots.txt。上传此文件后,它就会接管。

关于robots.txt 生成器

生成带有标准规则的 WordPress robots.txt——并为 GPTBot、ClaudeBot、PerplexityBot、CCBot 和 Google-Extended 提供逐个开关。用一个个复选框决定谁能拿你的文字去训练。

常见问题

常见问题

屏蔽 Google-Extended 会影响我的搜索排名吗?

不会。Google-Extended 控制的是你的内容是否会被用来训练 Gemini。它对 Googlebot、对收录、对你在 Google 搜索里的排名都没有影响。这是关于 AI 蜘蛛指令最常见的误解。

robots.txt 真的能阻止 AI 公司抓取我的网站吗?

它能拦住那些尊重它的抓取程序,也就是大多数被点名的那些。它是一个请求,不是一道围栏——一个无视 robots.txt 的蜘蛛完全不受影响。任何把 robots.txt 说成能防抓取的说法,都是在夸大其词。

robots.txt 文件放在哪里?

放在你站点的 Web 根目录里,和 wp-config.php 放在一起,这样它就能在 example.com/robots.txt 上访问到。当没有真实文件存在时,WordPress 会提供一个虚拟的 robots.txt;上传一个真实文件就会取代它。