Zum Inhalt springen
Tools

robots.txt-Generator

Inklusive der KI-Crawler, die sonst niemand umschalten lässt

Läuft in deinem Browser. Nichts wird hochgeladen.

WordPress basics
AI crawlers

Blocking a bot here asks it not to crawl. It is a request, not a fence — a crawler that ignores robots.txt is unaffected by anything on this page. Also worth knowing: blocking a search-adjacent AI bot can remove you from that product's citations, which is sometimes traffic you wanted.

Sitemap
robots.txt

WordPress serves a virtual robots.txt unless a real file exists at your web root. Upload this file and it takes over.

Über das robots.txt-Generator

Generiere eine WordPress-robots.txt mit den Standardregeln — und einzelnen Schaltern für GPTBot, ClaudeBot, PerplexityBot, CCBot und Google-Extended. Entscheide per Häkchen, was mit deinen Texten trainiert wird.

Verwandt

Weitere Tools, die du brauchen könntest

WordPress .htaccess-Generator

Die Regeln, die WordPress braucht — plus die Härtungsregeln, die nicht mitgeliefert werden

FAQ

Fragen

Schadet das Blockieren von Google-Extended meinem Suchranking?

Nein. Google-Extended steuert, ob deine Inhalte zum Training von Gemini genutzt werden. Es hat keinen Einfluss auf Googlebot, auf die Indexierung oder auf deine Position in der Google-Suche. Das ist das mit Abstand häufigste Missverständnis rund um die KI-Crawler-Direktiven.

Hält robots.txt KI-Firmen wirklich davon ab, meine Website zu scrapen?

Es hält die auf, die sich daran halten, und das sind die meisten der namentlich genannten. Es ist eine Bitte, kein Zaun – ein Crawler, der robots.txt ignoriert, bleibt völlig unbeeindruckt. Wer robots.txt als Schutz gegen Scraping verkauft, übertreibt.

Wohin gehört die robots.txt-Datei?

Ins Web-Root deiner Website, neben wp-config.php, damit sie unter example.com/robots.txt erreichbar ist. WordPress liefert eine virtuelle robots.txt, solange keine echte Datei existiert; sobald du eine echte hochlädst, übernimmt diese.