Modelle mit systemischem Risiko: Einstufung und zusätzliche Pflichten (Art. 51, 52 und 55 KI-VO)

Warum es diese Kategorie gibt

Die Verordnung unterscheidet bei Modellen mit allgemeinem Verwendungszweck zwei Stufen. Für alle gelten die vier Pflichten aus Art. 53 — Dokumentation, Information nachgelagerter Anbieter, Urheberrechtsstrategie, Zusammenfassung der Trainingsinhalte.

Für die leistungsfähigsten kommt eine zweite Stufe hinzu. Sie ist der Ort, an dem die Verordnung auf die Sorge vor unbeherrschbaren Systemen antwortet.

Wann ein Modell dazugehört (Art. 51)

Zwei Wege führen in die Kategorie.

Fähigkeiten mit hohem Wirkungsgrad (Absatz 1 Buchstabe a), bewertet mit geeigneten technischen Instrumenten einschließlich Indikatoren und Vergleichsmaßstäben.

Eine Entscheidung der Kommission (Buchstabe b) — von Amts wegen oder aufgrund einer qualifizierten Warnung des wissenschaftlichen Gremiums unabhängiger Sachverständiger (englisch Scientific Panel), nach den Kriterien des Anhangs XIII.

Der Schwellenwert. Absatz 2 stellt eine Vermutung auf: Fähigkeiten mit hohem Wirkungsgrad werden angenommen, wenn die für das Training verwendete Rechenmenge mehr als zehn hoch fünfundzwanzig Gleitkommaoperationen beträgt.

Die Kommission kann diesen Wert durch delegierte Rechtsakte ändern und Vergleichsmaßstäbe ergänzen, damit er dem Stand der Technik entspricht.

Woran sich ein Leistungssprung zeigen kann

Der Schwellenwert knüpft an die Rechenmenge beim Training an — eine Größe, die vor der Auslieferung feststeht. Die tatsächliche Fähigkeit zeigt sich erst danach.

Ein im September 2026 berichteter Vorgang macht das anschaulich: Ein dreiköpfiges Sicherheitsteam nahm am Fehlerprämienprogramm eines Modellanbieters teil und setzte dafür ein Modell eines anderen Anbieters ein. Nach seiner Darstellung scheiterte die damals aktuelle Fassung über mehrere Sitzungen daran, einen funktionierenden Angriffscode zu erzeugen. Innerhalb von Stunden nach der Veröffentlichung der nächsten Modellfassung gelang derselbe Angriff.

Das Team verkettete anschließend zwei Schwachstellen — eine in der Verarbeitung hochgeladener Bilddateien in der Forensoftware, eine im einheitlichen Anmeldeverfahren — und erreichte damit Nutzerkonten, darunter das eines Beschäftigten, dessen Entwicklungszugang mit der Quellcodeverwaltung des Unternehmens verbunden war. Der Vorgang war vom Prämienprogramm gedeckt; die Lücken wurden gemeldet und binnen Stunden geschlossen.

Für die Einstufung ist daran zweierlei von Belang. Zum einen misst Art. 51 Abs. 1 lit. a die Fähigkeiten mit technischen Instrumenten einschließlich Indikatoren und Vergleichsmaßstäben — nicht allein an der Rechenmenge. Zum anderen verlangt Art. 55 Abs. 1 lit. a die Durchführung und Dokumentation von Angriffstests; ein Sprung dieser Art ist genau das, was solche Tests sichtbar machen sollen.

Der Vorgang ist in diesem Verzeichnis nicht als Vorfall erfasst: Es handelte sich um einen befugten Sicherheitstest, bei dem Menschen ein Werkzeug einsetzten. Weder ein Kontrollverlust noch ein Schaden ist berichtet.

Das Verfahren (Art. 52)

Zwei Wochen. Erfüllt ein Modell die Bedingung, teilt der Anbieter dies der Kommission unverzüglich mit, in jedem Fall aber binnen zwei Wochen, nachdem sie erfüllt ist oder bekannt wird, dass sie erfüllt wird.

Widerspruch ist möglich. Der Anbieter kann in der Mitteilung begründen, dass sein Modell trotz Erfüllung der Bedingung ausnahmsweise keine systemischen Risiken birgt. Weist die Kommission diese Argumente zurück, gilt das Modell als Modell mit systemischem Risiko.

Die Kommission kann auch selbst ausweisen — von Amts wegen oder nach einer qualifizierten Warnung des wissenschaftlichen Gremiums. Erlangt sie Kenntnis von einem Modell, das ihr nicht mitgeteilt wurde, kann sie es ausweisen.

Neubewertung frühestens nach sechs Monaten, und nur mit objektiven, detaillierten und neuen Gründen, die sich seit der Ausweisung ergeben haben. Bleibt es nach der Neubewertung bei der Ausweisung, beginnt die Frist erneut.

Eine öffentliche Liste. Nach Absatz 6 sorgt die Kommission dafür, dass eine Liste dieser Modelle veröffentlicht und auf dem neuesten Stand gehalten wird — unbeschadet der Rechte des geistigen Eigentums und der Geschäftsgeheimnisse.

Die vier zusätzlichen Pflichten (Art. 55)

Sie treten zu denen aus den Art. 53 und 54 hinzu.

Buchstabe a — Modellbewertung mit Angriffstests. Durchführung nach standardisierten Protokollen und Instrumenten, die dem Stand der Technik entsprechen, einschließlich Durchführung und Dokumentation von Angriffstests, um systemische Risiken zu ermitteln und zu mindern.

Buchstabe b — Risiken bewerten und mindern. Mögliche systemische Risiken auf Unionsebene, einschließlich ihrer Ursachen, die sich aus Entwicklung, Inverkehrbringen oder Verwendung ergeben können.

Buchstabe c — schwerwiegende Vorfälle melden. Einschlägige Informationen über schwerwiegende Vorfälle und mögliche Abhilfemaßnahmen erfassen, dokumentieren und das Büro für Künstliche Intelligenz (englisch AI Office) sowie gegebenenfalls die zuständigen nationalen Behörden unverzüglich unterrichten.

Buchstabe d — Cybersicherheit. Ein angemessenes Maß für das Modell und die physische Infrastruktur des Modells.

Keine Ausnahme für quelloffene Modelle

Art. 53 Abs. 2 nimmt Anbieter quelloffener Modelle von den Buchstaben a und b aus, Art. 54 Abs. 6 von der Pflicht zur Benennung eines Bevollmächtigten.

Beide Ausnahmen gelten nicht für Modelle mit systemischem Risiko. Wer ein solches Modell quelloffen bereitstellt, unterliegt sämtlichen Pflichten.

Die Pflicht des Bevollmächtigten (Art. 54)

Anbieter aus Drittländern benennen vor dem Inverkehrbringen schriftlich einen in der Union niedergelassenen Bevollmächtigten. Dieser überprüft unter anderem, ob die technische Dokumentation erstellt wurde und sämtliche Pflichten nach Art. 53 und gegebenenfalls Art. 55 erfüllt sind, und hält eine Kopie zehn Jahre lang bereit.

Absatz 5 verpflichtet ihn zur Aufkündigung: Hat er Grund zu der Annahme, dass der Anbieter gegen seine Pflichten verstößt, beendet er den Auftrag und unterrichtet das Büro für Künstliche Intelligenz unverzüglich über die Beendigung und deren Gründe.

Wie die Einhaltung nachzuweisen ist

Bis zur Veröffentlichung einer harmonisierten Norm können Anbieter sich auf Praxisleitfäden nach Art. 56 stützen. Die Einhaltung einer harmonisierten europäischen Norm begründet die Vermutung der Konformität; ein Praxisleitfaden tut das nicht.

Wer weder das eine noch das andere befolgt, muss geeignete alternative Verfahren der Einhaltung aufzeigen, die von der Kommission zu bewerten sind.

Art. 56 bestimmt, dass die Praxisleitfäden mindestens die Pflichten aus den Art. 53 und 55 abdecken sollen — einschließlich der Ermittlung von Art und Wesen der systemischen Risiken auf Unionsebene und der Verfahren zu deren Bewertung und Handhabung.

Vom Digital Omnibus unberührt

Die Änderungsverordnung (EU) 2026/1744 hat die Termine für Hochrisiko-Systeme verschoben und zahlreiche Vorschriften neu gefasst. Die Art. 51 bis 55 gehören nicht dazu. Nach der Fachdarstellung bleiben Schwellenwerte und Pflichten der Modellanbieter unverändert bestehen.

Geändert wurde in diesem Kapitel lediglich Art. 56 Abs. 6: Die Befugnis der Kommission, einen Praxisleitfaden durch Durchführungsrechtsakt zu genehmigen und ihm damit allgemeine Geltung zu verschaffen, wurde gestrichen.

Zeitliche Geltung

Kapitel V ist seit dem 2. August 2025 anwendbar. Die Durchsetzungsbefugnisse der Kommission gegenüber diesen Anbietern greifen seit dem 2. August 2026.

Für Modelle, die vor dem 2. August 2025 in Verkehr gebracht wurden, läuft die Übergangsfrist bis zum 2. August 2027.