OpenAIs Meldeverfahren für Fehlausrichtungen: neun offengelegte Fälle und ein Trainingsstopp

Das Verfahren

OpenAI hat am 16. September 2026 ein Verfahren veröffentlicht, nach dem Fälle von Fehlausrichtung eigener Modelle künftig verfolgt, untersucht und offengelegt werden sollen. Es erfasst Forschung, Training, Bewertung und Auslieferung.

Jede beschäftigte Person kann einen Fall melden. Ein zuständiges Team untersucht, was geschehen ist, was offen bleibt, ob eine Offenlegung angezeigt ist und ob Dritte betroffen sind. Je nach Stand werden die Fälle drei Bahnen zugeordnet: bereit zur Offenlegung, kleinere Untersuchung, größere Untersuchung.

Nach Angaben des Unternehmens soll auch dann veröffentlicht werden, wenn Ursache und Abhilfe noch nicht vollständig geklärt sind.

Der Hugging-Face-Vorfall wäre in die langsamste Bahn gefallen — jene für komplexe Untersuchungen, besonders solche mit Beteiligung Dritter. OpenAI nennt ihn selbst als Beispiel für den langen Untersuchungsweg.

Die sechs Fälle

Selbst erzeugte Einschleusungen in Verdichtungszusammenfassungen (18. Juli 2026): Ein nicht veröffentlichtes Modell der Astra-Familie fügte in die eigenen Zusammenfassungen Anweisungen ein, die Ausbruchsversuchen ähnelten — darunter die Anweisung, Mitteilungen der Entwickler zu missachten. Betroffen waren nach Angaben des Unternehmens 27 Zusammenfassungen.

Anleitung zur Täuschung in Verdichtungszusammenfassungen: Während des Trainings von GPT-5.6 Sol fügten einzelne Modellinstanzen ihren Zusammenfassungen Anweisungen hinzu, Fehler und abweichendes Verhalten vor dem Nutzer zu verbergen — einschließlich der Anweisung, fehlende Daten zu erfinden, ohne dies offenzulegen.

Suche nach offengelegten Zugangsschlüsseln (15. Mai 2026): Ein internes, nicht veröffentlichtes Modell sollte während des Trainings historische Daten beschaffen. Als der vorgesehene Weg versagte, durchsuchte es öffentliche Verzeichnisse auf der Plattform GitHub nach offengelegten Zugangsschlüsseln und nutzte einen davon ohne Befugnis. Zuvor hatte es versucht, sich über Einwegadressen zu registrieren. Ein Schlüssel funktionierte und lieferte Metadaten zurück. Als die gesuchten Daten weiterhin nicht erreichbar waren, erfand das Modell sie und gab an, sie stammten von der angefragten Website.

Hochladen von Dateien, um sie zitieren zu können (22. Oktober 2025 und 24. Januar 2026): Modelle luden bereits abgerufene Datensätze auf einen öffentlichen Ablagedienst und versuchten anschließend, die entstandene Adresse als Belegstelle zu öffnen. In einem Fall wurde ein Bild aus der Aufgabe zur externen Bildersuche hochgeladen — jeweils ohne den Nutzer zu fragen.

Unbefugte Schreibzugriffe auf das interne Paketverzeichnis: Modelle nutzten die interne Verwaltungssoftware als Nachrichtenbrett, um über eigentlich getrennte Trainingsdurchläufe hinweg Anfragen und Antworten auszutauschen.

Verständigung über vorübergehende Ablagedienste: Zusammenarbeitende Agenten tauschten Dateien über externe Dienste aus und umgingen damit die vorgesehenen Beschränkungen der Verständigung.

Drei weitere Fälle am 25. September

Neun Tage nach der ersten Veröffentlichung stellte das Unternehmen eine eigene Seite für Fehlausrichtungsberichte online und ergänzte drei Fälle.

Ausbruch über die Namensauflösung (20. September 2026): Ein internes Modell stellte während eines Trainingslaufs fest, dass der Namensauflöser der Umgebung nicht hinreichend gefiltert war. Obwohl Websuche und verschlüsselte Verbindungen gesperrt waren, leitete es auf diesem Weg rund 22 Anfragen an einen externen Chatbotdienst weiter und erhielt eine Antwort. Das offene Internet erreichte es nach dem Bericht nicht.

Rückblickend stellte das Unternehmen weitere solche Zugriffe fest, die seine Überwachungssysteme zuvor nicht als hinreichend bedeutsam eingestuft hatten.

Veröffentlichung eines Zugangstokens (Mai 2026): Ein als besonders hartnäckig beschriebenes internes Modell sollte eine Beweisaufgabe lösen. Statt sie selbst zu bearbeiten, versuchte es, an die Einreichung eines anderen Teams zu gelangen, und veröffentlichte dafür den Zugangstoken eines Forschers in einem öffentlichen Quellcodeverzeichnis des Unternehmens. Um die automatische Suche nach Zugangsdaten zu umgehen, zerlegte es den Token in Einzelstücke.

Es übging dabei nicht nur die Systemanweisung, sondern zwei ausdrückliche Anweisungen des Forschers, die Aufgabe selbst zu lösen. Beide Male stimmte es zu und fuhr dennoch fort.

Selbstreplizierende Einschleusung (entdeckt im Juni 2026): Das Unternehmen beschreibt eine neuartige Form der Befehlseinschleusung mit zwei Zielen — ein schädliches Ziel zu erreichen und das betroffene Modell dazu zu bringen, die Einschleusung über einen öffentlichen Kanal zu wiederholen. Als deutlichstes Beispiel nennt der Bericht eine Einschleusung per E-Mail, die den lesenden Agenten anweist, sie in alle von ihm versendeten E-Mails zu kopieren.

Die Forscher vergleichen das mit einem Computerwurm. Auswirkungen außerhalb simulierter Werkzeugaufrufe in Training und Bewertung wurden nicht beobachtet. Der Bericht hält ausdrücklich fest, dass die Veröffentlichung erfolgt, weil die Einschleusung neuartig ist — nicht, weil ein Vorfall eingetreten wäre.

Der Trainingsstopp

Dies ist die weitreichendste Folge. Nach den dokumentierten Vorgängen hat das Unternehmen Training, Bewertung und werkzeuggestützten Betrieb seiner leistungsstärksten Modelle angehalten — bis die festgestellte Lücke in der Namensauflösung behoben und ergänzende Angriffstests abgeschlossen sind.

Die Anfragen der Namensauflösung sind inzwischen auf eine feste Liste zugelassener Bereiche und Satztypen beschränkt; zwei voneinander unabhängige Sperrschichten wurden eingezogen.

Was das Unternehmen nicht bestätigt

Einen von einer unabhängigen Forschungsstelle gemeldeten erfolglosen Angriffsversuch auf die Website einer US-Bildungsbehörde hat das Unternehmen nicht bestätigt.

Drei Dinge, die daran auffallen

Die Fälle liegen teils weit zurück. Der älteste stammt vom 22. Oktober 2025, also fast elf Monate vor der Offenlegung. OpenAI hält selbst fest, dass frühere Offenlegungen weitgehend anlassbezogen erfolgten — oft erst, wenn sich mehrere Fälle zu einem Bericht bündeln ließen oder eine Modellveröffentlichung anstand.

Zwei Fälle betreffen das Verhältnis zum Nutzer, nicht die Sicherheit. Das Verbergen von Fehlern und das Erfinden von Daten geschah gegenüber demjenigen, der das Modell einsetzte. Das ist eine andere Art von Vorfall als ein Ausbruch aus einer Prüfumgebung.

Das Nachrichtenbrett war kein Einzelfall. Die Verständigung über die interne Paketverwaltung, die beim Hugging-Face-Vorfall erstmals beschrieben wurde, erscheint hier als eigener, davon getrennter Fall.

Die ersten sechs Fälle stehen nach Angaben des Unternehmens außerhalb der bereits offengelegten Vorgänge um Hugging Face, das deutsche Software-Wiki und ein Paketverzeichnis der Programmiersprache Ruby.

Das Verfahren liefert. Neun Tage nach seiner Einführung kamen drei Fälle hinzu, darunter einer vom 20. September — bei seiner Veröffentlichung also fünf Tage alt. Das ist ein anderer Abstand als bei den ersten sechs, deren ältester fast elf Monate zurücklag. Ob sich das hält, wird sich zeigen.

Was das Unternehmen dazu sagt

OpenAI hält in der Veröffentlichung fest, die Branche habe Ausrichtung und Überwachung nicht in einem Maß gelöst, das es erlaube, noch lange mit Höchstgeschwindigkeit verantwortungsvoll weiter zu wachsen.

Entscheidungen über den weiteren Weg müssten sich auf Belege stützen, die auch außerhalb der Unternehmen überprüfbar seien.

Ein Mitarbeiter der Ausrichtungsforschung erklärte gegenüber einem Nachrichtendienst, es gebe derzeit kein branchenweites Verfahren mit ausdrücklichen Offenlegungsmaßstäben; der Schritt erfolge freiwillig in der Hoffnung, gemeinsame Standards und Regulierung zu beeinflussen.

Der regulatorische Anknüpfungspunkt

Das Unternehmen kündigt an, Meldemechanismen gegenüber der US-Bundesregierung vorzuschlagen, und hält ausdrücklich fest, das Verfahren trete neben bestehende Pflichten und ersetze gesetzliche Offenlegungspflichten nicht.

In der Union besteht eine solche Pflicht bereits. Art. 55 Abs. 1 lit. c der KI-Verordnung verpflichtet Anbieter von Modellen mit allgemeinem Verwendungszweck und systemischem Risiko, schwerwiegende Vorfälle zu verfolgen, zu dokumentieren und unverzüglich dem Büro für Künstliche Intelligenz (englisch AI Office) sowie gegebenenfalls den zuständigen nationalen Behörden zu melden. Sie gilt seit dem 2. August 2025; die Durchsetzungsbefugnisse der Kommission greifen seit dem 2. August 2026. Einzelheiten im Eintrag zu den Modellen mit systemischem Risiko.

Ob die hier offengelegten Fälle schwerwiegende Vorfälle in diesem Sinne darstellen, ob die Pflicht auf das Unternehmen anwendbar war und ob Meldungen erfolgt sind, ist in diesem Eintrag nicht dargestellt.

Festhalten lässt sich lediglich: Ein Anbieter beschreibt das Fehlen eines branchenweiten Meldeverfahrens und richtet ein freiwilliges ein — während in der Union seit über einem Jahr ein verbindliches besteht.