關於robots.txt 產生器
產生包含標準規則的 WordPress robots.txt — 並可針對 GPTBot、ClaudeBot、PerplexityBot、CCBot 與 Google-Extended 個別切換。透過一個個核取方塊,決定哪些爬蟲能拿你的文章去訓練。
相關
你可能還需要的其他工具
FAQ
常見問題
封鎖 Google-Extended 會傷害我的搜尋排名嗎?
不會。Google-Extended 控制的是你的內容會不會被用來訓練 Gemini。它對 Googlebot、對索引,或對你在 Google 搜尋中的排名,都沒有影響。這是關於 AI 爬蟲指令最常見的誤解。
robots.txt 真的能阻止 AI 公司抓取我的網站嗎?
它能擋住那些遵守它的爬蟲,也就是大多數有名字的那些。它是一個請求,不是一道圍籬——忽略 robots.txt 的爬蟲完全不受影響。任何把 robots.txt 當成防抓取保護來賣的人,都是言過其實。
robots.txt 檔案要放在哪裡?
放在你網站的網頁根目錄,和 wp-config.php 放在一起,這樣它就會出現在 example.com/robots.txt。當沒有真實檔案存在時,WordPress 會提供一個虛擬的 robots.txt;上傳一個真實檔案就會接手取代它。