Bisher mussten Sie jedem KI-Anbieter einzeln mitteilen, dass Ihre Fachartikel, Ratgeber oder Bilder nicht für das Training seiner Modelle verwendet werden sollen. Eine gemeinsame Angabe in der robots.txt soll das vereinfachen. Sie ist angekündigt, und mit der Umsetzung begonnen hat bisher nur ein Anbieter. Hier lesen Sie, was heute schon wirkt, was bei Google und Bing anders läuft und welche Entscheidung Ihnen auch die neue Regel nicht abnimmt.
Was angekündigt ist und was davon gilt
KI-Training per robots.txt soll künftig mit einer einzigen Angabe für mehrere Anbieter steuerbar sein. Am 30. Oktober 2026 haben Google, Microsoft und OpenAI angekündigt, ein gemeinsames Signal künftig zu beachten. Grundlage ist ein Entwurf, den Kevin Kelley von Anthropic bei der IETF eingereicht hat. Die IETF ist das Gremium, das Internetstandards entwickelt. Ein verabschiedeter Standard ist das bisher nicht. Der Entwurf führt eine gemeinsame Kennung ein, die wie der Name eines Crawlers in der robots.txt steht, nach heutigem Stand „User-agent: __usage_ai-training“. Unter dieser Kennung legen Sie fest, welche Bereiche Ihrer Website nicht in das Training fließen sollen.
Wann das gilt, ist offen. Der Entwurf wurde von einer einzelnen Person eingereicht und läuft am 3. Mai 2027 aus. Anthropic hat mit der Umsetzung begonnen, braucht aber nach eigener Aussage Zeit, bis alle Dienste das Signal beachten. Microsoft will es ab dem 1. Februar 2027 beachten, Google im Lauf des Jahres 2027.
Eine Bedingung sollten Sie kennen. Viele Dateien regeln heute alle Crawler gemeinsam mit „User-agent: *“. Eine solche Regel sagt nach dem Entwurf nichts über KI-Training aus. Es zählt nur, was ausdrücklich unter der neuen Kennung steht. Und wie jede Regel in der robots.txt ist sie eine Anweisung an die Crawler. Technisch sperrt sie niemanden aus.
Google: Training und Gemini-Antworten hängen an einem Schalter
Bei Google entscheiden Sie mit einer Einstellung über zwei Dinge: ob Ihre Inhalte Gemini trainieren und ob sie als Quelle in Antworten der Gemini-Apps erscheinen können. Diese Einstellung heißt Google-Extended, Google bietet sie seit 2023 an, und sie wirkt schon heute. Ob Ihre Website in der Google-Suche erscheint und wie sie dort rankt, beeinflusst sie nicht.
Die neue gemeinsame Angabe will Google nach eigener Ankündigung so lesen, als hätten Sie Google-Extended gesperrt. Das gilt aber nur, wenn Google-Extended nicht ausdrücklich in Ihrer Datei geregelt ist. Schließen Sie also mit der gemeinsamen Angabe alle Anbieter vom Training aus, fallen Sie ab Googles Umsetzung auch als Quelle für Antworten in den Gemini-Apps heraus. Laut Google können nur Websites, die Google-Extended ausdrücklich erlauben, dort in Antworten erscheinen und Klicks erhalten. Eine eigene Regel für Google-Extended hat Vorrang vor der gemeinsamen Angabe.
Die KI-Übersichten und der KI-Modus der Google-Suche lassen sich mit keiner der beiden Angaben steuern. Dafür hat Google auf Druck der britischen Wettbewerbsbehörde eine eigene Einstellung in der Search Console eingeführt, zunächst nur für einen Teil der britischen Websites.
Wir halten Google für den Punkt, an dem Betreiber am genauesten hinsehen sollten. Bei Google können Sie das Training nicht ablehnen und gleichzeitig in den Gemini-Antworten bleiben. Beides gehört zusammen. Diese Abwägung sollte deshalb bewusst getroffen werden und als eigene Zeile für Google-Extended in der Datei stehen. Sie sollte sich nicht nebenbei aus der gemeinsamen Angabe ergeben.
Bing: Training und Antworten getrennt, mit festen Fristen
Microsoft trennt, was Google bündelt. Das Training und die Verwendung Ihrer Inhalte als Grundlage für KI-Antworten nennt Microsoft „Grounding“. Beides stellen Sie unabhängig voneinander ein. Das Training regeln Sie über die gemeinsame Angabe in der robots.txt oder einzeln auf jeder Seite. Gibt es beides, gilt die Angabe auf der Seite. Das Grounding lässt sich nur Seite für Seite festlegen, nicht in der robots.txt. Laut Microsoft ändert keine dieser Angaben etwas daran, ob Ihre Website in der normalen Bing-Suche erscheint.
Wichtig sind die Fristen. Bisher hat Bing die Angaben NoArchive und NoCache als Widerspruch gegen die Nutzung durch KI gelesen. Ab dem 1. Februar 2027 beachtet Microsoft die neuen Angaben, sobald es Ihre Seiten crawlt. Nach dem 1. März 2027 wertet Bing NoArchive und NoCache nicht mehr als Widerspruch gegen Training oder Grounding. Wenn Ihre Website diese Angaben nutzt, können Sie ab dem 15. Dezember 2026 in den Bing Webmaster Tools eine vorübergehende Einstellung für das Grounding hinterlegen. Microsoft weist selbst darauf hin, dass ein gesperrtes Grounding Ihre Sichtbarkeit in KI-Antworten deutlich verringert.
Sollten Sie die einzelnen Bots weiter nennen?
Ja. Die gemeinsame Angabe ist angekündigt, aber nicht umgesetzt. Google und Microsoft werten sie heute noch nicht aus. OpenAI will sie nach eigener Ankündigung in den kommenden Monaten umsetzen und nennt kein Datum. Alle drei haben erklärt, dass ihre bisherigen Einstellungen weiter gelten. Auch später brauchen Sie die einzelnen Regeln, wenn Sie einen Anbieter anders behandeln wollen als die übrigen.
Die gemeinsame Angabe schon jetzt zusätzlich einzutragen, halten wir für vertretbar. Anthropic hat mit der Umsetzung begonnen, und Crawler, die die neue Kennung nicht kennen, übergehen sie. Wenn Sie damit das Training sperren, ergänzen Sie für Google bewusst eine eigene Zeile für Google-Extended. Sonst greift ab Googles Umsetzung die angekündigte Standardauslegung: Die gemeinsame Sperre wirkt dann wie eine Sperre von Google-Extended, einschließlich der Gemini-Antworten. Wie Sie die Datei insgesamt aufbauen, steht in unserem Beitrag zur robots.txt für 2026.
Freigeben oder sperren: eine Entscheidung je Inhalt
Keine Regel nimmt Ihnen die Frage ab, wofür Ihre Inhalte arbeiten sollen. Training und Antworten sind zwei verschiedene Nutzungen. Beim Training fließen Ihre Texte und Bilder in ein Modell ein, und später führt kein Link zu Ihnen zurück. In einer Antwort mit Quellenangabe kann Ihre Website genannt und verlinkt werden.
Bei OpenAI und Anthropic lassen sich beide Nutzungen schon heute getrennt steuern. Bei OpenAI sammelt GPTBot Inhalte für das Training, OAI-SearchBot erfasst Websites für die Suche in ChatGPT. Bei Anthropic ist laut eigener Dokumentation ClaudeBot für das Training zuständig und Claude-SearchBot für die Suche. Wer das Training ablehnt, aber in KI-Antworten erscheinen will, sperrt die Trainings-Crawler und lässt die Such-Crawler zu. Vollständig steuern lässt sich das nicht: Ruft ein Nutzer in ChatGPT selbst eine Seite ab, gelten Regeln in der robots.txt laut OpenAI möglicherweise nicht.
Eine pauschale Antwort halten wir für falsch. Die gemeinsame Angabe arbeitet mit Bereichen Ihrer Website. Sie können zum Beispiel frei zugängliche Ratgeber für das Training freigeben und aufwendig erstelltes Bildmaterial davon ausnehmen. Keine der beiden Entscheidungen garantiert Nennungen, Besucher oder eine Vergütung. Das betont Microsoft selbst. Wie ChatGPT seine Quellen findet, erklären wir im Beitrag zum eigenen Suchindex von ChatGPT.
Was bleibt
Wenn die Anbieter sie wie angekündigt umsetzen, kann die gemeinsame Regel die Pflege der robots.txt vereinfachen. Die Entscheidung, ob Ihre Fachinhalte Modelle trainieren oder in Antworten zitiert werden, trifft sie nicht für Sie. Bei Google bleiben Training und Gemini-Antworten ohnehin aneinander gekoppelt. Einmal festlegen sollten Sie, welche Bereiche Sie für Training und für Antworten freigeben. Halten Sie das für jeden Anbieter ausdrücklich in der Datei fest. Im Blick behalten sollten Sie, wann Google und OpenAI die neue Angabe tatsächlich beachten. Bei Bing gilt die Frist zum 1. März 2027.