SEO & Sichtbarkeit   ·  7 Minuten Lesezeit

KI-Crawler steuern: robots.txt, Google-Extended und der neue Schalter in der Search Console

KI-Crawler steuern ist seit dem 31. August 2026 eine andere Aufgabe als noch im Frühjahr. Dieser Beitrag zeigt, welcher Hebel was bewirkt und welcher davon dich Sichtbarkeit kostet.

Paul BöstroInhaber der creativecouch, beim BAFA registrierter Berater

Laptop mit drei Schaltern: Crawling und Indexing sind eingeschaltet, Archiving wird gerade per Mausklick ausgeschaltetBeitragsbild: KI-generiert

Das Wichtigste in 30 Sekunden

  • Google-Extended steuert Training und Grounding für Gemini, wirkt aber nicht auf Rankings oder AI Overviews.
  • Seit dem 31. August 2026 kannst du dich in der Search Console von AI Overviews und dem AI Mode abmelden.
  • Für die meisten KMU empfiehlt sich: sichtbar bleiben und nur das Training über Google-Extended steuern.

Die Frage kommt in fast jedem Beratungsgespräch: Kann ich verhindern, dass mein Inhalt in KI-Systemen landet? Die Antwort hängt davon ab, was du eigentlich meinst. Training, Antwortabruf und Suchindex sind drei verschiedene Dinge und sie haben drei verschiedene Schalter.

Wer das durch­ein­an­der­bringt, schaltet am Ende das Falsche ab. Ich sehe robots.txt-Dateien, die Google-Extended sperren, weil jemand AI Overviews loswerden wollte. Das wirkt dort überhaupt nicht und verhindert stattdessen etwas ganz anderes.

Ich arbeite als Agentur für digitale Sichtbarkeit überwiegend mit kleinen und mittleren Unternehmen aus Mittelhessen. Für die ist die Frage selten ideologisch, sondern praktisch: Was bringt Besucher und was kostet welche.

Video

Bernd und die eine Zeile, die alle KI-Bots aussperrt

Bernd sperrt mit einer Zeile in der robots.txt alle KI-Bots aus. Ich erkläre dir, warum Training, Suche und Nutzerabrufe drei verschiedene Schalter sind und wie du nur das Training steuerst.

Unscharfer Blick auf ein Serverlog, in dem viele Zugriffe als bot markiert sind und ein Eintrag rot hervorstichtBild: KI-generiert

Welche KI-Crawler besuchen deine Website wirklich?

Die großen Anbieter betreiben mehrere Bots mit unterschiedlichen Aufgaben und genau darin liegt der Denkfehler der meisten Sperrlisten. Ein Bot fürs Training zu sperren hat nichts damit zu tun, ob du in den Antworten desselben Anbieters auftauchst.

Bei OpenAI trennt sich das klar: GPTBot sammelt Inhalte, die für das Training genutzt werden können. OAI-SearchBot dient ausschließlich der Suche in ChatGPT. ChatGPT-User ruft eine Seite ab, weil ein Mensch danach gefragt hat. Wer OAI-SearchBot sperrt, verschwindet aus den Suchantworten von ChatGPT1.

Auch Apple hat ein eigenes Token. Applebot-Extended steuert ausschließlich, ob Inhalte zum Training der Apple Foundation Models verwendet werden. Applebot selbst bleibt davon unberührt und versorgt weiterhin Spotlight, Siri und Safari.

Anthropic unterscheidet ClaudeBot für das Training, Claude-SearchBot für die Qualität von Suchantworten und Claude-User für nutzerinitiierte Abrufe2. Perplexity führt PerplexityBot für die eigene Suche und Perplexity-User für Abrufe auf Zuruf.

Was genau macht Google-Extended und was nicht?

Google-Extended steuert, ob deine Inhalte für das Training künftiger Gemini-Modelle und für das Grounding in den Gemini Apps und in Vertex AI verwendet werden. Mehr nicht. Google hat das Token am 28. September 2023 eingeführt.

Der zweite Teil ist der wichtigere. Google schreibt in der eigenen Crawler-Dokumentation ausdrücklich, dass Google-Extended weder die Aufnahme einer Website in Google Search beeinflusst noch als Rankingsignal dient. Die Angst, man verliere Rankings, ist damit unbegründet.

Technisch ist Google-Extended kein eigener Bot. Es ist ein reines Steuerungstoken für die robots.txt, abgerufen wird weiterhin mit den bekannten Google-User-Agents. Wer nach einem User-Agent namens Google-Extended in den Serverlogs sucht, wird nichts finden.

Und der entscheidende Punkt für die Praxis: Google-Extended sperrt weder AI Overviews noch den AI Mode. Beide sind Teil der Suche und werden über einen völlig anderen Weg geregelt.

Kernsatz

Google-Extended steuert das Training, der Schalter in der Search Console steuert die Sichtbarkeit. Das sind zwei Fragen, nicht eine.

Mann am Monitor mit Analysedashboard, rechts im Bereich Einstellungen ist ein eingeschalteter Schalter hervorgehobenBild: KI-generiert

Der Schalter in der Search Console: Was er abschaltet

Seit dem 31. August 2026 gibt es in der Google Search Console unter den Einstellungen einen echten Opt-out für generative KI-Funktionen. Er steuert die Aufnahme in AI Overviews, in den AI Mode und in generative KI-Funktionen in Google Discover3.

Getestet wurde der Schalter ab dem 3. Juni 2026 zunächst mit einer Teilmenge britischer Websitebetreiber, seit Ende August ist er weltweit verfügbar. Voreingestellt ist die Teilnahme, du musst also nichts tun, wenn du dabei bleiben willst.

Wichtiger als das, was er tut, ist das, was er nicht tut. Er ist kein Ranking- oder Inde­xie­rungs­si­gnal für die klassische Suche, er stoppt kein KI-Training und er wirkt nicht auf OpenAI, Anthropic oder Perplexity. Für das Training bleibt Google-Extended zuständig.

Warum robots.txt nicht alles aufhält

Die robots.txt regelt automatisiertes Crawling, nicht jeden Abruf. Für nutzerinitiierte Abrufe nehmen sich mehrere Anbieter ausdrücklich davon aus, und zwar in ihrer eigenen Dokumentation.

OpenAI schreibt zu ChatGPT-User, dass robots.txt-Regeln möglicherweise nicht gelten, weil ein Mensch die Aktion ausgelöst hat1. Perplexity formuliert es für Perplexity-User noch deutlicher und sagt, dieser Abruf ignoriere robots.txt in der Regel. Meta gibt für einen seiner Abrufdienste ebenfalls an, dass er die Datei umgehen kann.

Anthropic dokumentiert als einziger der drei großen Anbieter ausdrücklich, dass alle eigenen Bots robots.txt respektieren, auch der nutzerinitiierte2. Das ist ein Unterschied, den man kennen sollte, bevor man alle über einen Kamm schert.

Dass Sperren auch aktiv umgangen werden, ist kein Verdacht, sondern belegt. Cloudflare hat am 4. August 2025 nachgewiesen, dass Perplexity nicht deklarierte Crawler einsetzte, die sich als normaler Browser ausgaben und IP-Adressen wechselten, um Blockaden zu unterlaufen.

Was ein Opt-out dich kostet

Belastbare Zahlen zur Wirkung des Search-Console-Schalters gibt es noch nicht, dafür ist er zu neu. Was sich sagen lässt: Wer sich abmeldet, erscheint in diesen Funktionen weder mit Link noch mit Inhalt und erzeugt daraus weder Impressionen noch Klicks3.

Zur Größenordnung hilft eine Erhebung des Pew Research Center vom 22. Juli 2025. Bei Suchen mit KI-Zusammenfassung klickten Nutzer in 8 Prozent der Besuche auf ein Ergebnis, ohne Zusammenfassung in 15 Prozent. Auf Links innerhalb der Zusammenfassung wurde in 1 Prozent der Fälle geklickt.

Das heißt: Die KI-Antwort kostet ohnehin Klicks. Wer sich zusätzlich abmeldet, verzichtet auf die verbleibende Sichtbarkeit und bekommt dafür keine Klicks zurück. Warum die reine Klickzahl als Maßstab nicht mehr trägt, habe ich unter warum Google-Traffic 2026 kein verlässlicher Maßstab mehr ist beschrieben.

Dein Fall ist anders

Dann schauen wir ihn uns im kostenlosen Erstgespräch an.

Crawler richtig steuern

Wie viel Crawling für wie viel Besuch?

Ein Argument fürs Sperren ist die Serverlast und das ist kein eingebildetes Problem. Cloudflare hat am 29. August 2025 das Verhältnis zwischen Crawling und tatsächlich vermittelten Besuchern gemessen.

Die Zahlen für Juli 2025: Bei Anthropic kamen rund 38.066 Abrufe auf einen vermittelten Besucher, bei OpenAI rund 1.091, bei Perplexity rund 195. Google lag bei 5,4. Das ist der eigentliche Grund, warum Betreiber großer Seiten über Sperren nachdenken.

Für eine typische KMU-Website mit ein paar hundert Seiten spielt das keine Rolle. Die Last ist zu gering, um Hosting-Kosten zu bewegen. Wer hier sperrt, tut es aus Prinzip und nicht aus Not, was eine legitime, aber eben eine andere Entscheidung ist.

Was du für Sichtbarkeit in KI-Antworten nicht brauchst

Google sagt in der eigenen Dokumentation ausdrücklich, dass es für AI Overviews und den AI Mode keine zusätzlichen technischen Anforderungen gibt. Keine neuen maschinenlesbaren Dateien, keine KI-Textdateien, kein spezielles Schema-Markup4.

Die Bedingung ist banal: Die Seite muss indexiert und für die Anzeige mit Snippet geeignet sein. Wer die Anzeige begrenzen will, nutzt nosnippet, data-nosnippet oder max-snippet und diese Steuerungen wirken laut Google auch auf die KI-Zusammenfassungen.

Alles, was darüber hinaus als Pflicht verkauft wird, gehört auf den Prüfstand. Wie Sprachmodelle Websites tatsächlich erfassen, steht unter AI Indexing und wie LLMs Websites lesen, die Folgen für den Traffic unter GEO und Zero-Click.

Kleines Netzwerkgerät auf einem Wandbrett mit vier grünen Leuchten und einer roten, Sinnbild für gezielt gesperrte ZugriffeBild: KI-generiert

Mein Vorgehen für eine KMU-Website

Für die allermeisten Unternehmen empfehle ich, sichtbar zu bleiben und nur das Training zu steuern. Konkret heißt das: Google-Extended in der robots.txt sperren, wenn du beim Training nicht mitmachen willst, den Search-Console-Schalter aber auf Teilnahme lassen.

  1. Prüfe in deiner robots.txt, ob dort Bots gesperrt sind, die du eigentlich brauchst, allen voran OAI-SearchBot und PerplexityBot.
  2. Entscheide getrennt: Training ja oder nein, Sichtbarkeit in KI-Antworten ja oder nein. Das sind zwei Fragen, nicht eine.
  3. Lass den Search-Console-Schalter auf Teilnahme, solange du nicht aus einem klaren Grund darauf verzichten willst.
  4. Sieh dir im Bericht zur generativen KI in der Search Console an, wie oft du dort überhaupt erscheinst. Er zeigt Impressionen, keine Klicks.
  5. Rechne damit, dass nutzerinitiierte Abrufe deine Seite ohnehin erreichen, auch wenn robots.txt etwas anderes sagt.

Eine Sache ist mir dabei wichtig: Diese Entscheidung ist keine rein technische. Ob du willst, dass deine Texte in Modelle einfließen, ist eine Haltungsfrage, die dir niemand abnimmt. Die technische Umsetzung ist danach in zehn Minuten erledigt, die Abwägung davor dauert länger.

Die ehrliche Kurzfassung: Sperren schützt weniger, als viele hoffen, und kostet mehr, als viele denken. Wenn du wissen willst, wie deine Website in KI-Antworten tatsächlich dasteht, schauen wir uns das im kostenlosen Erstgespräch von dreißig Minuten an. Wie die creativecouch SEO und GEO als eine Aufgabe behandelt, steht auf der Leistungsseite, konkrete Fälle klären wir in der Beratung.

Quellen

  1. 1
  2. 2
  3. 3
    Search generative AI control (öffnet in neuem Tab)Google Search Console-Hilfe, support.google.com
  4. 4
    AI Features and Your Website (öffnet in neuem Tab)Google Search Central, developers.google.com

Hinweis zur Erstellung: Dieser Beitrag entstand mit Unterstützung von KI und wurde von Paul Böstro redaktionell geprüft.

Wie sichtbar du bei Google und KI bist

Im kostenlosen Erstgespräch suchen wir gemeinsam nach deiner Leistung und schauen, welche Schritte sich lohnen.

So arbeite ich: SEO und GEO

robots.txt prüfen lassen06033 7488570 anrufen
Paul Böstro

Über den Autor

Paul Böstro

Ich führe die creativecouch in Butzbach und bin beim BAFA als Berater registriert. Seit über zwölf Jahren entwickle ich Marken, Websites und digitale Strategien, heute vor allem für Sichtbarkeit bei Google und KI.

Über mich und die creativecouch

Ratgeber-Abo

Neue Beiträge per E-Mail

Zu jedem neuen Beitrag eine kurze Mail mit Titel, Kern und Link. Meist dienstags bis donnerstags, keine Werbung, abbestellen mit einem Klick.

Du bekommst zuerst eine Mail zur Bestätigung. Mehr zum Datenschutz

Weiterlesen

Mehr zu SEO, GEO, KI und Webdesign.

Alle Fachbeiträge