Worum es geht
Die acht Bereiche des Anhangs III und die Produktgruppen des Anhangs I sagen, welche Systeme hochriskant sind. Dieser Abschnitt sagt, was sie erfüllen müssen.
Art. 8 stellt die Grundregel auf: Hochrisiko-KI-Systeme müssen die Anforderungen dieses Abschnitts erfüllen, wobei ihrer Zweckbestimmung und dem allgemein anerkannten Stand der Technik Rechnung zu tragen ist.
Artikel 9 — Risikomanagementsystem
Kein einmaliger Vorgang, sondern ein kontinuierlicher iterativer Prozess über den gesamten Lebenszyklus, der regelmäßig zu überprüfen und zu aktualisieren ist. Vier Schritte: bekannte und vernünftigerweise vorhersehbare Risiken ermitteln und analysieren, Risiken bei bestimmungsgemäßer Verwendung und bei vorhersehbarer Fehlanwendung abschätzen, weitere Risiken aus der Beobachtung nach dem Inverkehrbringen bewerten, geeignete Maßnahmen ergreifen.
Die Rangfolge der Maßnahmen steht in Absatz 5: soweit technisch möglich Beseitigung oder Verringerung durch Konzeption und Entwicklung; sonst Minderungs- und Kontrollmaßnahmen; schließlich Information und gegebenenfalls Schulung der Betreiber. Technik vor Organisation vor Information.
Restrisiken müssen vertretbar sein — jedes einzelne und das Gesamtrestrisiko.
Absatz 9 nennt eine Gruppe ausdrücklich: Anbieter berücksichtigen, ob das System wahrscheinlich nachteilige Auswirkungen auf Personen unter 18 Jahren oder andere schutzbedürftige Gruppen hat.
Artikel 10 — Daten und Daten-Governance
Trainings-, Validierungs- und Testdatensätze müssen relevant, hinreichend repräsentativ und so weit wie möglich fehlerfrei und vollständig sein und die geeigneten statistischen Merkmale haben.
Absatz 2 zählt acht Governance-Verfahren auf, darunter die Herkunft der Daten und bei personenbezogenen Daten den ursprünglichen Zweck der Erhebung, eine Untersuchung auf mögliche Verzerrungen und Maßnahmen zu deren Erkennung, Verhinderung und Abschwächung.
Die Datensätze müssen die Merkmale der geografischen, kontextuellen, verhaltensbezogenen oder funktionalen Rahmenbedingungen berücksichtigen, unter denen das System eingesetzt werden soll.
Geändert durch den Digital Omnibus: Der frühere Absatz 5 — die Rechtsgrundlage für die Verarbeitung besonderer Kategorien personenbezogener Daten zur Erkennung von Verzerrungen — wurde gestrichen und als eigener Art. 4a neu gefasst, der zugleich auf Betreiber und auf andere KI-Systeme ausgeweitet wurde.
Artikel 11 — Technische Dokumentation
Zu erstellen bevor das System in Verkehr gebracht wird, und auf dem neuesten Stand zu halten. Sie muss den Nachweis führen, dass das System die Anforderungen erfüllt, und enthält mindestens die Angaben aus Anhang IV.
Steht das System mit einem Produkt nach Anhang I Abschnitt A in Zusammenhang, wird eine einzige technische Dokumentation erstellt, die beides abdeckt.
Geändert durch den Digital Omnibus: Die vereinfachte Form steht nun KMU einschließlich Start-up-Unternehmen und kleinen Midcap-Unternehmen offen. Die Kommission stellt dafür ein Formular bereit, das notifizierte Stellen akzeptieren müssen.
Was Anhang IV verlangt
Der Anhang nennt neun Punkte, soweit sie für das System von Belang sind. Drei davon sind weitreichender, als die Überschrift vermuten lässt:
Die Entwurfsspezifikationen (Nummer 2 Buchstabe b) verlangen die allgemeine Logik des Systems und der Algorithmen, die wichtigsten Entwurfsentscheidungen mit Gründen und Annahmen — ausdrücklich auch in Bezug auf die Personengruppen, bei denen das System angewandt werden soll —, was das System optimieren soll und welche Bedeutung den Parametern dabei zukommt. Dazu die Entscheidungen über Kompromisse zwischen den technischen Lösungen.
Die Datenblätter (Nummer 2 Buchstabe d) verlangen eine Beschreibung der Trainingsdatensätze samt Herkunft, Umfang und Hauptmerkmalen, Angaben zur Beschaffung und Auswahl der Daten sowie die Kennzeichnungs- und Bereinigungsverfahren.
Die Testberichte (Nummer 2 Buchstabe g) müssen von den verantwortlichen Personen datiert und unterzeichnet sein — einschließlich der Parameter, mit denen potenziell diskriminierende Auswirkungen gemessen wurden.
Hinzu kommen unter anderem eine Beschreibung der Systemarchitektur mit den zum Trainieren verwendeten Rechenressourcen, die ergriffenen Cybersicherheitsmaßnahmen, die Genauigkeitsgrade bei bestimmten Personengruppen, die vorhersehbaren unbeabsichtigten Ergebnisse, eine detaillierte Beschreibung des Risikomanagementsystems und der Plan für die Beobachtung nach dem Inverkehrbringen.
Artikel 12 — Aufzeichnungspflichten
Die Technik muss die automatische Aufzeichnung von Ereignissen über den Lebenszyklus ermöglichen, damit das Funktionieren rückverfolgbar ist.
Für biometrische Fernidentifizierungssysteme nach Anhang III Nr. 1 Buchstabe a ist der Umfang im Einzelnen vorgegeben: Zeitraum jeder Verwendung mit Beginn und Ende, die abgeglichene Referenzdatenbank, die Eingabedaten mit Treffer und die Identität der Personen, die das Ergebnis überprüft haben.
Wozu die Protokolle dienen
Art. 12 Abs. 2 nennt drei Zwecke, und alle drei verweisen weiter:
Art. 79 Abs. 1 bestimmt, wann ein System „ein Risiko birgt”: wenn es Risiken für Gesundheit, Sicherheit oder Grundrechte von Personen birgt. Stellt eine Marktüberwachungsbehörde die Nichtkonformität fest, fordert sie Korrekturmaßnahmen — innerhalb von weniger als fünfzehn Arbeitstagen. Bleiben sie aus, kann sie die Bereitstellung verbieten, das System vom Markt nehmen oder zurückrufen. Besondere Aufmerksamkeit gilt nach Absatz 2 Systemen, die für schutzbedürftige Gruppen ein Risiko bergen.
Art. 72 verlangt vom Anbieter ein System zur Beobachtung nach dem Inverkehrbringen, das im Verhältnis zur Art der KI-Technik und zu den Risiken steht. Es muss Leistungsdaten über die gesamte Lebensdauer aktiv und systematisch erheben, dokumentieren und analysieren — und dem Anbieter erlauben, die fortdauernde Einhaltung der Anforderungen zu bewerten. Gegebenenfalls gehört dazu eine Analyse der Interaktion mit anderen KI-Systemen.
Der zugehörige Plan ist Teil der technischen Dokumentation nach Anhang IV. Für sensible operative Daten von Strafverfolgungsbehörden gilt die Pflicht nicht.
Art. 26 Abs. 5 betrifft die Überwachung des Betriebs durch den Betreiber.
Artikel 13 — Transparenz gegenüber Betreibern
Der Betrieb muss hinreichend transparent sein, damit Betreiber die Ausgaben angemessen interpretieren und verwenden können.
Dazu gehören Betriebsanleitungen in geeignetem digitalem Format, barrierefrei zugänglich und verständlich. Absatz 3 zählt auf, was mindestens hineingehört — unter anderem Merkmale, Fähigkeiten und Leistungsgrenzen, das Maß an Genauigkeit samt Metriken, bekannte Umstände, die zu Risiken führen können, die Leistung in Bezug auf bestimmte Personengruppen und die Spezifikationen der Eingabedaten.
Artikel 14 — Menschliche Aufsicht
Systeme werden so konzipiert, dass sie während der Dauer ihrer Verwendung von natürlichen Personen wirksam beaufsichtigt werden können, auch mit geeigneten Instrumenten einer Mensch-Maschine-Schnittstelle.
Absatz 4 zählt fünf Fähigkeiten auf, die den Aufsichtspersonen möglich sein müssen. Zwei davon sind bemerkenswert:
Sie müssen sich einer möglichen Neigung zu automatischem oder übermäßigem Vertrauen in die Ausgabe bewusst bleiben — der Verordnungstext nennt das Automatisierungsbias.
Und sie müssen in einer bestimmten Situation beschließen können, das System nicht zu verwenden oder die Ausgabe außer Acht zu lassen, außer Kraft zu setzen oder rückgängig zu machen — sowie den Betrieb mit einer Stopptaste unterbrechen können, die das System in einem sicheren Zustand zum Stillstand bringt.
Das Vier-Augen-Prinzip bei Biometrie: Bei Systemen nach Anhang III Nr. 1 Buchstabe a darf der Betreiber keine Maßnahme allein aufgrund des Identifizierungsergebnisses treffen, solange dieses nicht von mindestens zwei natürlichen Personen getrennt überprüft und bestätigt wurde. Diese Anforderung gilt nicht für Strafverfolgung, Migration, Grenzkontrolle und Asyl, wenn sie dort unverhältnismäßig wäre.
Artikel 15 — Genauigkeit, Robustheit und Cybersicherheit
Die Maße an Genauigkeit und die Metriken werden in den Betriebsanleitungen angegeben.
Rückkopplungsschleifen: Systeme, die nach dem Inverkehrbringen weiterlernen, sind so zu entwickeln, dass das Risiko verzerrter Ausgaben, die künftige Vorgänge beeinflussen, beseitigt oder so gering wie möglich gehalten wird.
Angriffsarten sind benannt: Manipulation des Trainingsdatensatzes, Manipulation vortrainierter Komponenten, Eingabedaten, die das Modell zu Fehlern verleiten sollen, Angriffe auf vertrauliche Daten und Modellmängel.
Geändert durch den Digital Omnibus: Ein neuer Art. 42 Abs. 3 bestimmt, dass Hochrisiko-KI-Systeme im Anwendungsbereich der Cyberresilienzverordnung unter deren Bedingungen als mit Art. 15 konform gelten.
Eine Öffnung für Anhang-I-Systeme
Der Digital Omnibus hat in Art. 2 einen Absatz 13 eingefügt: Für Systeme nach Art. 6 Abs. 1 kann die Anwendung der Art. 9 bis 15 sowie 17 bis 25 beschränkt werden, soweit die Harmonisierungsrechtsvorschriften des Anhangs I Abschnitt A ein gleichwertiges oder höheres Schutzniveau bieten und die Beschränkung das Gesamtschutzniveau nicht senkt.
Die Kommission erlässt dazu bis zum 2. August 2027 delegierte Rechtsakte.
Geltungsbeginn
Für Systeme nach Anhang III ab dem 2. Dezember 2027, für Systeme nach Anhang I ab dem 2. August 2028.
Verlauf
Die Digital-Omnibus-Verordnung ändert Art. 10 und Art. 11 und verschiebt den Geltungsbeginn des gesamten Abschnitts.
Quelle