跳至內容
工具

robots.txt 產生器

包含其他工具都不讓你切換的 AI 爬蟲

在你的瀏覽器裡執行。什麼都不會被上傳。

WordPress 基本設定
AI 爬蟲

在這裡封鎖某個機器人,是「請求」它不要爬取。這是請求,不是圍籬,會無視 robots.txt 的爬蟲完全不受這個頁面上任何設定影響。另外也值得知道:封鎖與搜尋相關的 AI 機器人,可能會讓你從那項產品的引用來源中被移除,而那有時正是你想要的流量。

網站地圖
robots.txt

除非你的網站根目錄中已存在一個實際的檔案,否則 WordPress 會提供一個虛擬的 robots.txt。上傳這個檔案後,它便會取而代之。

關於robots.txt 產生器

產生包含標準規則的 WordPress robots.txt — 並可針對 GPTBot、ClaudeBot、PerplexityBot、CCBot 與 Google-Extended 個別切換。透過一個個核取方塊,決定哪些爬蟲能拿你的文章去訓練。

常見問題

常見問題

封鎖 Google-Extended 會傷害我的搜尋排名嗎?

不會。Google-Extended 控制的是你的內容會不會被用來訓練 Gemini。它對 Googlebot、對索引,或對你在 Google 搜尋中的排名,都沒有影響。這是關於 AI 爬蟲指令最常見的誤解。

robots.txt 真的能阻止 AI 公司抓取我的網站嗎?

它能擋住那些遵守它的爬蟲,也就是大多數有名字的那些。它是一個請求,不是一道圍籬——忽略 robots.txt 的爬蟲完全不受影響。任何把 robots.txt 當成防抓取保護來賣的人,都是言過其實。

robots.txt 檔案要放在哪裡?

放在你網站的網頁根目錄,和 wp-config.php 放在一起,這樣它就會出現在 example.com/robots.txt。當沒有真實檔案存在時,WordPress 會提供一個虛擬的 robots.txt;上傳一個真實檔案就會接手取代它。