KI-Crawler steuern: robots.txt, Google-Extended und der neue Schalter in der Search Console
KI-Crawler steuern ist seit dem 31. August 2026 eine andere Aufgabe als noch im Frühjahr. Dieser Beitrag zeigt, welcher Hebel was bewirkt und welcher davon dich Sichtbarkeit kostet.
Die Frage kommt in fast jedem Beratungsgespräch: Kann ich verhindern, dass mein Inhalt in KI-Systemen landet? Die Antwort hängt davon ab, was du eigentlich meinst. Training, Antwortabruf und Suchindex sind drei verschiedene Dinge und sie haben drei verschiedene Schalter.
Wer das durcheinanderbringt, schaltet am Ende das Falsche ab. Ich sehe robots.txt-Dateien, die Google-Extended sperren, weil jemand AI Overviews loswerden wollte. Das wirkt dort überhaupt nicht und verhindert stattdessen etwas ganz anderes.
Ich arbeite als Agentur für digitale Sichtbarkeit überwiegend mit kleinen und mittleren Unternehmen aus Mittelhessen. Für die ist die Frage selten ideologisch, sondern praktisch: Was bringt Besucher und was kostet welche.
Welche KI-Crawler besuchen deine Website wirklich?
Die großen Anbieter betreiben mehrere Bots mit unterschiedlichen Aufgaben und genau darin liegt der Denkfehler der meisten Sperrlisten. Ein Bot fürs Training zu sperren hat nichts damit zu tun, ob du in den Antworten desselben Anbieters auftauchst.
Bei OpenAI trennt sich das klar: GPTBot sammelt Inhalte, die für das Training genutzt werden können. OAI-SearchBot dient ausschließlich der Suche in ChatGPT. ChatGPT-User ruft eine Seite ab, weil ein Mensch danach gefragt hat. Wer OAI-SearchBot sperrt, verschwindet aus den Suchantworten von ChatGPT.
Auch Apple hat ein eigenes Token. Applebot-Extended steuert ausschließlich, ob Inhalte zum Training der Apple Foundation Models verwendet werden. Applebot selbst bleibt davon unberührt und versorgt weiterhin Spotlight, Siri und Safari.
Anthropic unterscheidet ClaudeBot für das Training, Claude-SearchBot für die Qualität von Suchantworten und Claude-User für nutzerinitiierte Abrufe. Perplexity führt PerplexityBot für die eigene Suche und Perplexity-User für Abrufe auf Zuruf.
Was genau macht Google-Extended und was nicht?
Google-Extended steuert, ob deine Inhalte für das Training künftiger Gemini-Modelle und für das Grounding in den Gemini Apps und in Vertex AI verwendet werden. Mehr nicht. Google hat das Token am 28. September 2023 eingeführt.
Der zweite Teil ist der wichtigere. Google schreibt in der eigenen Crawler-Dokumentation ausdrücklich, dass Google-Extended weder die Aufnahme einer Website in Google Search beeinflusst noch als Rankingsignal dient. Die Angst, man verliere Rankings, ist damit unbegründet.
Technisch ist Google-Extended kein eigener Bot. Es ist ein reines Steuerungstoken für die robots.txt, abgerufen wird weiterhin mit den bekannten Google-User-Agents. Wer nach einem User-Agent namens Google-Extended in den Serverlogs sucht, wird nichts finden.
Und der entscheidende Punkt für die Praxis: Google-Extended sperrt weder AI Overviews noch den AI Mode. Beide sind Teil der Suche und werden über einen völlig anderen Weg geregelt.
Google-Extended steuert das Training, der Schalter in der Search Console steuert die Sichtbarkeit. Das sind zwei Fragen, nicht eine.
Der Schalter in der Search Console: Was er abschaltet
Seit dem 31. August 2026 gibt es in der Google Search Console unter den Einstellungen einen echten Opt-out für generative KI-Funktionen. Er steuert die Aufnahme in AI Overviews, in den AI Mode und in generative KI-Funktionen in Google Discover.
Getestet wurde der Schalter ab dem 3. Juni 2026 zunächst mit einer Teilmenge britischer Websitebetreiber, seit Ende August ist er weltweit verfügbar. Voreingestellt ist die Teilnahme, du musst also nichts tun, wenn du dabei bleiben willst.
Wichtiger als das, was er tut, ist das, was er nicht tut. Er ist kein Ranking- oder Indexierungssignal für die klassische Suche, er stoppt kein KI-Training und er wirkt nicht auf OpenAI, Anthropic oder Perplexity. Für das Training bleibt Google-Extended zuständig.
Warum robots.txt nicht alles aufhält
Die robots.txt regelt automatisiertes Crawling, nicht jeden Abruf. Für nutzerinitiierte Abrufe nehmen sich mehrere Anbieter ausdrücklich davon aus, und zwar in ihrer eigenen Dokumentation.
OpenAI schreibt zu ChatGPT-User, dass robots.txt-Regeln möglicherweise nicht gelten, weil ein Mensch die Aktion ausgelöst hat. Perplexity formuliert es für Perplexity-User noch deutlicher und sagt, dieser Abruf ignoriere robots.txt in der Regel. Meta gibt für einen seiner Abrufdienste ebenfalls an, dass er die Datei umgehen kann.
Anthropic dokumentiert als einziger der drei großen Anbieter ausdrücklich, dass alle eigenen Bots robots.txt respektieren, auch der nutzerinitiierte. Das ist ein Unterschied, den man kennen sollte, bevor man alle über einen Kamm schert.
Dass Sperren auch aktiv umgangen werden, ist kein Verdacht, sondern belegt. Cloudflare hat am 4. August 2025 nachgewiesen, dass Perplexity nicht deklarierte Crawler einsetzte, die sich als normaler Browser ausgaben und IP-Adressen wechselten, um Blockaden zu unterlaufen.
Was ein Opt-out dich kostet
Belastbare Zahlen zur Wirkung des Search-Console-Schalters gibt es noch nicht, dafür ist er zu neu. Was sich sagen lässt: Wer sich abmeldet, erscheint in diesen Funktionen weder mit Link noch mit Inhalt und erzeugt daraus weder Impressionen noch Klicks.
Zur Größenordnung hilft eine Erhebung des Pew Research Center vom 22. Juli 2025. Bei Suchen mit KI-Zusammenfassung klickten Nutzer in 8 Prozent der Besuche auf ein Ergebnis, ohne Zusammenfassung in 15 Prozent. Auf Links innerhalb der Zusammenfassung wurde in 1 Prozent der Fälle geklickt.
Das heißt: Die KI-Antwort kostet ohnehin Klicks. Wer sich zusätzlich abmeldet, verzichtet auf die verbleibende Sichtbarkeit und bekommt dafür keine Klicks zurück. Warum die reine Klickzahl als Maßstab nicht mehr trägt, habe ich unter warum Google-Traffic 2026 kein verlässlicher Maßstab mehr ist beschrieben.
Wie viel Crawling für wie viel Besuch?
Ein Argument fürs Sperren ist die Serverlast und das ist kein eingebildetes Problem. Cloudflare hat am 29. August 2025 das Verhältnis zwischen Crawling und tatsächlich vermittelten Besuchern gemessen.
Die Zahlen für Juli 2025: Bei Anthropic kamen rund 38.066 Abrufe auf einen vermittelten Besucher, bei OpenAI rund 1.091, bei Perplexity rund 195. Google lag bei 5,4. Das ist der eigentliche Grund, warum Betreiber großer Seiten über Sperren nachdenken.
Für eine typische KMU-Website mit ein paar hundert Seiten spielt das keine Rolle. Die Last ist zu gering, um Hosting-Kosten zu bewegen. Wer hier sperrt, tut es aus Prinzip und nicht aus Not, was eine legitime, aber eben eine andere Entscheidung ist.
Was du für Sichtbarkeit in KI-Antworten nicht brauchst
Google sagt in der eigenen Dokumentation ausdrücklich, dass es für AI Overviews und den AI Mode keine zusätzlichen technischen Anforderungen gibt. Keine neuen maschinenlesbaren Dateien, keine KI-Textdateien, kein spezielles Schema-Markup.
Die Bedingung ist banal: Die Seite muss indexiert und für die Anzeige mit Snippet geeignet sein. Wer die Anzeige begrenzen will, nutzt nosnippet, data-nosnippet oder max-snippet und diese Steuerungen wirken laut Google auch auf die KI-Zusammenfassungen.
Alles, was darüber hinaus als Pflicht verkauft wird, gehört auf den Prüfstand. Wie Sprachmodelle Websites tatsächlich erfassen, steht unter AI Indexing und wie LLMs Websites lesen, die Folgen für den Traffic unter GEO und Zero-Click.
Mein Vorgehen für eine KMU-Website
Für die allermeisten Unternehmen empfehle ich, sichtbar zu bleiben und nur das Training zu steuern. Konkret heißt das: Google-Extended in der robots.txt sperren, wenn du beim Training nicht mitmachen willst, den Search-Console-Schalter aber auf Teilnahme lassen.
- Prüfe in deiner robots.txt, ob dort Bots gesperrt sind, die du eigentlich brauchst, allen voran OAI-SearchBot und PerplexityBot.
- Entscheide getrennt: Training ja oder nein, Sichtbarkeit in KI-Antworten ja oder nein. Das sind zwei Fragen, nicht eine.
- Lass den Search-Console-Schalter auf Teilnahme, solange du nicht aus einem klaren Grund darauf verzichten willst.
- Sieh dir im Bericht zur generativen KI in der Search Console an, wie oft du dort überhaupt erscheinst. Er zeigt Impressionen, keine Klicks.
- Rechne damit, dass nutzerinitiierte Abrufe deine Seite ohnehin erreichen, auch wenn robots.txt etwas anderes sagt.
Eine Sache ist mir dabei wichtig: Diese Entscheidung ist keine rein technische. Ob du willst, dass deine Texte in Modelle einfließen, ist eine Haltungsfrage, die dir niemand abnimmt. Die technische Umsetzung ist danach in zehn Minuten erledigt, die Abwägung davor dauert länger.
Die ehrliche Kurzfassung: Sperren schützt weniger, als viele hoffen, und kostet mehr, als viele denken. Wenn du wissen willst, wie deine Website in KI-Antworten tatsächlich dasteht, schauen wir uns das im kostenlosen Erstgespräch von dreißig Minuten an. Wie die creativecouch SEO und GEO als eine Aufgabe behandelt, steht auf der Leistungsseite, konkrete Fälle klären wir in der Beratung.
Hinweis zur Erstellung des Beitrags
Dieser Beitrag wurde mit Unterstützung einer KI erstellt, um effiziente und präzise Inhalte zu liefern. Im Anschluss wurde er sorgfältig von einem Experten überprüft und überarbeitet, um sicherzustellen, dass er den höchsten Qualitätsstandards entspricht und den Anforderungen der Leser gerecht wird.