OpenAI unterstützt gemeinsames robots.txt-Signal für KI-Trainingspräferenzen

Was OpenAI angekündigt hat

OpenAI teilte am 30. Oktober 2026 mit, ein gemeinsames Signal in robots.txt zu unterstützen. Website-Betreiber sollen damit dieselbe Präferenz gegenüber mehreren teilnehmenden KI-Anbietern ausdrücken können, statt für jeden Crawler eigene Regeln zu pflegen.

Der Vorschlag steht im Zusammenhang mit der Arbeit einer IETF-Arbeitsgruppe zu AI Preferences. OpenAI beschreibt ihn als freiwillige gemeinsame Lösung und ermutigt weitere Anbieter, das Signal ebenfalls zu berücksichtigen.

Was noch nicht feststeht

OpenAI schreibt ausdrücklich, dass die eigene Implementierung erst in den kommenden Monaten konkretisiert werden soll. Damit sind weder die genaue Syntax noch der genaue Crawler, der das Signal auswertet, und auch keine vollständige Liste teilnehmender Anbieter als fertiger Standard für die Praxis belegt.

Das Signal ersetzt laut OpenAI außerdem nicht die bereits vorhandenen robots.txt-Kontrollen. Eine Website sollte deshalb ihre bestehende Datei nicht vorschnell durch eine noch nicht dokumentierte Zeile ergänzen oder bestehende Regeln entfernen.

Warum das für Website-Betreiber interessant ist

Viele Betreiber möchten unterscheiden, ob Inhalte von Suchmaschinen gefunden, von KI-Systemen zur Antwortgenerierung verwendet oder für das Training grundlegender Modelle herangezogen werden dürfen. Heute müssen solche Entscheidungen teilweise anhand einzelner Crawler-Namen und Anbieterinformationen gepflegt werden. Ein gemeinsames, von mehreren Anbietern respektiertes Signal könnte diese Wartung vereinfachen.

Das ist aber keine automatische Aussage über Urheberrecht, Lizenzierung, Datenschutz oder die rechtliche Zulässigkeit eines konkreten Trainingsvorgangs. Technische Hinweise in robots.txt und rechtliche Erlaubnisse sind unterschiedliche Ebenen.

Was Atlas jetzt sinnvollerweise prüft

• Bestehende Regeln: Welche Crawler und Zugriffsbereiche werden aktuell in robots.txt angesprochen?
• Absicht: Soll eine Seite nur nicht gecrawlt, nicht für KI-Training genutzt oder generell nicht automatisiert abgerufen werden?
• Quellenlage: Gibt es für das gewünschte Signal eine endgültige technische Dokumentation und eine Liste der Anbieter, die es tatsächlich respektieren?
• Rechtliche Einordnung: Welche Nutzungsbedingungen, Lizenzen und gesetzlichen Regeln gelten unabhängig vom technischen Signal?
• Pflege: Wer prüft künftig Änderungen bei Crawlern, Anbietern und der technischen Spezifikation?

Einordnung von Project Atlas

Für Atlas ist die Meldung vor allem deshalb relevant, weil sie eine wiederkehrende Pflegeaufgabe standardisieren könnte. Eine sofortige Änderung der Live-Datei wäre nach dem aktuellen Stand jedoch verfrüht. Zunächst sollte die endgültige technische Umsetzung abgewartet und dann getrennt geprüft werden, ob sie mit den redaktionellen und rechtlichen Zielen der Website übereinstimmt.

Die OpenAI-Mitteilung belegt eine angekündigte freiwillige Unterstützung, aber weder einen bereits geltenden Branchenstandard noch einen umfassenden Schutz vor Nutzung oder Kopie veröffentlichter Inhalte.