Social Rocket
Websites können künftig mit einer gemeinsamen `robots.txt`-Regel festlegen, dass ihre Inhalte nicht zum Training generativer KI verwendet werden sollen. Anthropic, Google, Microsoft und OpenAI haben Ende Oktober 2026 Unterstützung für einen entsprechenden Vorschlag angekündigt. Für Verlage, Marken mit Wissensdatenbanken und Betreiber redaktioneller Websites reduziert das die bisherige Pflege einzelner Bot-Regeln deutlich.
Ein Schalter für mehrere KI-Anbieter
Der technische Entwurf stammt vom Anthropic-Standardspezialisten Kevin Kelley und wurde am 30. Oktober 2026 bei der Internet Engineering Task Force eingereicht. Er verwendet einen besonderen User-Agent-Namen in der bestehenden `robots.txt`-Datei, ohne neue Befehle einzuführen. So sieht das Beispiel aus dem Entwurf aus:
```txt User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/ ```
Damit erklärt ein Websitebetreiber: Inhalte sollen grundsätzlich nicht zum KI-Training genutzt werden; das Verzeichnis `/press-kit/` ist ausgenommen. Die Regel ist eine Nutzungspräferenz, keine Sperre für sämtliche Bots. Suchmaschinen-Crawling kann davon getrennt gesteuert werden.
Bislang mussten Publisher für unterschiedliche Systeme eigene Regeln verwalten. Ein gemeinsames Signal schafft eine zentrale Voreinstellung, die teilnehmende Anbieter neben ihren spezifischen Kontrollen berücksichtigen können. Der Vorschlag ist derzeit ein IETF-Internet-Draft und noch kein verabschiedeter Standard.
Google, Microsoft und OpenAI starten nicht gleichzeitig
Die Unternehmen haben unterschiedliche Zeitpläne:
- Anthropic hat nach eigenen Angaben bereits mit der Einführung begonnen.
- OpenAI kündigte am 30. Oktober an, das Signal in den kommenden Monaten zu berücksichtigen. Bestehende individuelle Crawler-Regeln bleiben erhalten.
- Google plant die Umsetzung für 2027. Fehlt eine ausdrücklich gesetzte Google-Extended-Regel, soll das gemeinsame Opt-out wie ein entsprechendes Verbot für Google-Extended behandelt werden.
- Microsoft nennt den 1. Februar 2027 als Starttermin und ergänzt eigene Einstellungen für KI-Training und die Verwendung von Quellen bei aktuellen Antworten, sogenanntes Grounding. Die Bing-Dokumentation erläutert die Übergangsfrist für ältere `NoArchive`- und `NoCache`-Signale bis zum 1. März 2027.
Damit ist die entscheidende praktische Frage nicht nur, welche Regel eine Website setzt, sondern wann einzelne Anbieter sie tatsächlich verarbeiten. Auch Meta hat eine gemeinsame Lösung öffentlich befürwortet, aber noch keine konkrete Implementierung zugesagt. Eine gute Übersicht der aktuellen Zusagen liefert Digiday.
Training, KI-Antworten und Suchergebnisse sind drei verschiedene Dinge
Der neue Mechanismus betrifft primär das Training künftiger Modelle. Für Marketingteams ist das eine wichtige Unterscheidung: Wer Trainingsdaten ablehnt, entscheidet damit nicht automatisch über die Auffindbarkeit einer Seite in Suchergebnissen oder darüber, ob sie in einer Antwort zitiert wird.
Microsoft will deshalb Training und Grounding ausdrücklich unabhängig voneinander steuerbar machen. Google behält seine vorhandenen Google-Extended-Kontrollen bei. Die gesonderte Diskussion über Opt-out und Klickdaten bei Google AI Overviews betrifft einen anderen Teil des Problems: die Sichtbarkeit von Publisher-Inhalten innerhalb generativer Suchprodukte.
Eine klare Rechtepolitik kann sogar zur Distributionsstrategie gehören. Manche Marken möchten geschützte Inhalte aus Trainingsdaten heraushalten und gleichzeitig Produktwissen, Dokumentation und Presseinformationen für Suchsysteme zugänglich lassen.
Was Publisher und Unternehmen jetzt vorbereiten sollten
Wer eine größere Content-Plattform betreibt, kann zunächst die vorhandenen `robots.txt`-Regeln dokumentieren, die neuen Präferenzen nach Inhaltstyp planen und spätere Umsetzungstermine im Blick behalten. Bei Microsoft sollten besonders Betreiber aufpassen, die noch `NoArchive` oder `NoCache` für KI-Zwecke einsetzen.
Für den laufenden Betrieb bleibt die Frage, welche Bots sich überhaupt korrekt ausweisen. Srocket hat bereits über Forderungen nach besser identifizierbaren KI-Crawlern berichtet. Die neue Regel vereinfacht die Kommunikation mit kooperierenden Diensten; die Kontrolle der tatsächlichen Zugriffe bleibt eine eigene Aufgabe.
Im Hintergrund laufen auch die Auseinandersetzungen um kommerzielle Website-Nutzung weiter. So zeigen die umstrittenen Meta-Crawler-Klauseln, warum klare Zuständigkeiten zwischen Technik, Redaktion und Recht immer wichtiger werden.
Der nächste Schritt ist Standardisierung statt Bot-Pflege im Dutzend: Ein Websitebetreiber kann seine Grundentscheidung einmal formulieren und dann gezielt Ausnahmen setzen. Ob das auch zu einer ausgewogenen wirtschaftlichen Beziehung zwischen Publishern und KI-Anbietern führt, entscheidet sich an der praktischen Umsetzung und den Lizenzmodellen.
Bild: Danial Igdery / Unsplash.