Zum Inhalt springen
Tools

robots.txt-Generator

Inklusive der KI-Crawler, die sonst niemand umschalten lässt

Läuft in deinem Browser. Nichts wird hochgeladen.

WordPress-Grundlagen
KI-Crawler

Einen Bot hier zu blockieren, bittet ihn, nicht zu crawlen. Das ist eine Bitte, kein Zaun – ein Crawler, der robots.txt ignoriert, lässt sich von nichts auf dieser Seite beeindrucken. Ebenfalls gut zu wissen: Einen suchnahen KI-Bot zu blockieren, kann dich aus den Quellenangaben dieses Produkts entfernen – und das ist mitunter Traffic, den du eigentlich wolltest.

Sitemap
robots.txt

WordPress liefert eine virtuelle robots.txt aus, solange keine echte Datei in deinem Web-Root existiert. Lade diese Datei hoch, und sie übernimmt.

Über das robots.txt-Generator

Generiere eine WordPress-robots.txt mit den Standardregeln — und einzelnen Schaltern für GPTBot, ClaudeBot, PerplexityBot, CCBot und Google-Extended. Entscheide per Häkchen, was mit deinen Texten trainiert wird.

Verwandt

Weitere Tools, die du brauchen könntest

WordPress .htaccess-Generator

Die Regeln, die WordPress braucht — plus die Härtungsregeln, die nicht mitgeliefert werden

FAQ

Fragen

Schadet das Blockieren von Google-Extended meinem Suchranking?

Nein. Google-Extended steuert, ob deine Inhalte zum Training von Gemini genutzt werden. Es hat keinen Einfluss auf Googlebot, auf die Indexierung oder auf deine Position in der Google-Suche. Das ist das mit Abstand häufigste Missverständnis rund um die KI-Crawler-Direktiven.

Hält robots.txt KI-Firmen wirklich davon ab, meine Website zu scrapen?

Es hält die auf, die sich daran halten, und das sind die meisten der namentlich genannten. Es ist eine Bitte, kein Zaun – ein Crawler, der robots.txt ignoriert, bleibt völlig unbeeindruckt. Wer robots.txt als Schutz gegen Scraping verkauft, übertreibt.

Wohin gehört die robots.txt-Datei?

Ins Web-Root deiner Website, neben wp-config.php, damit sie unter example.com/robots.txt erreichbar ist. WordPress liefert eine virtuelle robots.txt, solange keine echte Datei existiert; sobald du eine echte hochlädst, übernimmt diese.