Naar de inhoud
Tools

robots.txt-generator

Inclusief de AI-crawlers die je nergens anders kunt in- of uitschakelen

Draait in je browser. Er wordt niets geüpload.

WordPress-basis
AI-crawlers

Een bot hier blokkeren vraagt hem om niet te crawlen. Het is een verzoek, geen hek — een crawler die robots.txt negeert, trekt zich niets aan van wat er op deze pagina staat. Ook goed om te weten: het blokkeren van een zoekgerelateerde AI-bot kan je uit de bronvermeldingen van dat product halen, en dat is soms verkeer dat je juist wilde.

Sitemap
robots.txt

WordPress serveert een virtuele robots.txt tenzij er een echt bestand in je webroot staat. Upload dit bestand en het neemt het over.

Over de robots.txt-generator

Genereer een WordPress robots.txt met de standaardregels — plus per-bot-schakelaars voor GPTBot, ClaudeBot, PerplexityBot, CCBot en Google-Extended. Bepaal wat er op jouw teksten traint, één selectievakje tegelijk.

Gerelateerd

Andere tools die je misschien nodig hebt

WordPress .htaccess-generator

De regels die WordPress nodig heeft, plus de beveiligingsregels die er niet standaard bij zitten

FAQ

Vragen

Schaadt het blokkeren van Google-Extended mijn zoekpositie?

Nee. Google-Extended bepaalt of je content wordt gebruikt om Gemini te trainen. Het heeft geen effect op Googlebot, op indexering, of op je positie in Google Zoeken. Dit is het meest voorkomende misverstand over de AI-crawler-richtlijnen.

Stopt robots.txt AI-bedrijven echt van het scrapen van mijn site?

Het stopt degene die het respecteren, wat de meeste van de genoemde zijn. Het is een verzoek, geen hek — een crawler die robots.txt negeert wordt er totaal niet door beïnvloed. Wie robots.txt verkoopt als bescherming tegen scrapen, overdrijft.

Waar komt het robots.txt-bestand terecht?

In de webroot van je site, naast wp-config.php, zodat het oplost op example.com/robots.txt. WordPress serveert een virtuele robots.txt als er geen echt bestand bestaat; het uploaden van een echt bestand neemt het over.