Pflichten der Anbieter von Hochrisiko-KI-Systemen (Art. 16 KI-VO)

Die zwölf Pflichten

Artikel 16 steht am Anfang des Abschnitts 3 und zählt auf, was Anbieter von Hochrisiko-KI-Systemen zu tun haben:

Buchstabe a — die Anforderungen erfüllen. Sicherstellen, dass das System die Anforderungen des Abschnitts 2 erfüllt, also die Artikel 8 bis 15.

Buchstabe b — sich zu erkennen geben. Name, eingetragener Handelsname oder Handelsmarke und Kontaktanschrift auf dem System, hilfsweise auf der Verpackung oder in der beigefügten Dokumentation.

Buchstabe c — Qualitätsmanagementsystem nach Art. 17.

Buchstabe d — Dokumentation aufbewahren nach Art. 18.

Buchstabe e — Protokolle aufbewahren nach Art. 19, soweit sie der eigenen Kontrolle unterliegen.

Buchstabe f — Konformitätsbewertung nach Art. 43 durchlaufen, bevor das System in Verkehr gebracht oder in Betrieb genommen wird.

Buchstabe g — EU-Konformitätserklärung ausstellen nach Art. 47.

Buchstabe h — CE-Kennzeichnung anbringen nach Art. 48.

Buchstabe i — Registrierung nach Art. 49 Abs. 1.

Buchstabe j — Korrekturmaßnahmen ergreifen und Informationen nach Art. 20 bereitstellen.

Buchstabe k — Nachweis auf Anfrage. Auf begründete Anfrage einer zuständigen nationalen Behörde nachweisen, dass das System die Anforderungen erfüllt.

Buchstabe l — Barrierefreiheit. Sicherstellen, dass das System die Anforderungen der Richtlinien (EU) 2016/2102 und (EU) 2019/882 erfüllt.

Der letzte Buchstabe ist der übersehene

Buchstabe l verweist auf die Richtlinie über den barrierefreien Zugang zu Websites und mobilen Anwendungen öffentlicher Stellen und auf den European Accessibility Act. Beide bestehen unabhängig von der KI-Verordnung — sie werden hier aber zur Anbieterpflicht erhoben und damit über Art. 99 Abs. 4 bußgeldbewehrt.

Artikel 17 — das Qualitätsmanagementsystem

Art. 16 Buchstabe c verweist auf Art. 17, der dreizehn Aspekte aufzählt, die schriftlich zu dokumentieren sind — unter anderem ein Konzept zur Einhaltung der Regulierungsvorschriften, Techniken für Entwurf und Entwicklung, Test- und Validierungsverfahren samt Häufigkeit, Systeme für das Datenmanagement, das Risikomanagementsystem nach Art. 9, die Beobachtung nach dem Inverkehrbringen nach Art. 72, Verfahren zur Meldung schwerwiegender Vorfälle nach Art. 73 und einen Rechenschaftsrahmen, der die Verantwortlichkeiten der Leitung und des sonstigen Personals regelt.

Verhältnismäßigkeit: Die Umsetzung erfolgt in einem angemessenen Verhältnis zur Größe der Organisation. Der Digital Omnibus hat das ausdrücklich auf KMU einschließlich Start-up-Unternehmen und kleine Midcap-Unternehmen erstreckt. Der zweite Satz bleibt jedoch: Anbieter müssen in jedem Fall den Grad der Strenge und das Schutzniveau einhalten, die zur Konformität erforderlich sind.

Anrechnung: Wer bereits nach sektorspezifischem Unionsrecht ein Qualitätsmanagementsystem unterhält, kann die Aspekte dort einbeziehen. Für Finanzinstitute gilt eine eigene Regelung.

Was die verwiesenen Artikel regeln

Art. 18 — Aufbewahrung. Zehn Jahre ab Inverkehrbringen oder Inbetriebnahme: technische Dokumentation, Dokumentation des Qualitätsmanagementsystems, genehmigte Änderungen, Entscheidungen notifizierter Stellen und die EU-Konformitätserklärung. Die Mitgliedstaaten regeln, was gilt, wenn der Anbieter vorher in Konkurs geht oder die Tätigkeit aufgibt.

Art. 19 — Protokolle. Mindestens sechs Monate, soweit sie der eigenen Kontrolle unterliegen und nichts anderes vorgeschrieben ist.

Art. 20 — Korrekturmaßnahmen. Wer Grund zu der Annahme hat, dass ein System nicht der Verordnung entspricht, ergreift unverzüglich Korrekturmaßnahmen — Konformität herstellen, zurücknehmen, deaktivieren oder zurückrufen — und informiert Händler, Betreiber, Bevollmächtigte und Einführer. Birgt das System ein Risiko im Sinne des Art. 79 Abs. 1, kommt die Untersuchung der Ursachen und die Meldung an die Marktüberwachungsbehörden hinzu.

Art. 21 — Zusammenarbeit. Informationen auf begründete Anfrage, in einer für die Behörde leicht verständlichen Amtssprache, dazu gegebenenfalls Zugang zu den Protokollen.

Art. 22 — Bevollmächtigte. Anbieter aus Drittländern benennen vor der Bereitstellung schriftlich einen in der Union niedergelassenen Bevollmächtigten. Bemerkenswert ist Absatz 4: Der Bevollmächtigte beendet den Auftrag, wenn er Grund zu der Annahme hat, dass der Anbieter gegen seine Pflichten verstößt — und informiert darüber die Marktüberwachungsbehörde.

Art. 23 und 24 — Einführer und Händler. Beide prüfen vor dem Inverkehrbringen beziehungsweise Bereitstellen, ob Konformitätsbewertung, technische Dokumentation, CE-Kennzeichnung, Konformitätserklärung und Betriebsanleitungen vorliegen. Beide haben eigene Korrektur- und Informationspflichten. Der Händler prüft zusätzlich, ob Anbieter und Einführer ihre Kennzeichnungspflichten erfüllt haben.

Der Weg zur Marktzulassung

Art. 43 — Konformitätsbewertung. Welches Verfahren gilt, hängt vom Bereich ab:

• Anhang III Nummer 1 (Biometrie): Der Anbieter wählt zwischen interner Kontrolle nach Anhang VI und einer Bewertung unter Beteiligung einer notifizierten Stelle nach Anhang VII. Die Wahl entfällt, wenn es keine harmonisierten Normen gibt oder der Anbieter sie nicht oder nur teilweise angewandt hat — dann ist Anhang VII zwingend.
• Anhang III Nummern 2 bis 8 (alle übrigen Bereiche): interne Kontrolle nach Anhang VI, ohne notifizierte Stelle.
• Anhang I Abschnitt A: das Verfahren des jeweiligen Produktrechts, in das die Anforderungen des Abschnitts 2 einbezogen werden.

Eine Besonderheit für Behörden: Soll ein biometrisches System von Strafverfolgungs-, Einwanderungs- oder Asylbehörden in Betrieb genommen werden, übernimmt die Marktüberwachungsbehörde die Funktion der notifizierten Stelle.

Bei wesentlicher Änderung ist die Bewertung zu wiederholen. Bei Systemen, die weiterlernen, gelten vorab festgelegte und in der technischen Dokumentation beschriebene Änderungen nicht als wesentlich.

Art. 44 — Bescheinigungen. Gültig höchstens fünf Jahre für Anhang-I-Systeme, höchstens vier Jahre für Anhang-III-Systeme, jeweils verlängerbar. Erfüllt ein System die Anforderungen nicht mehr, setzt die notifizierte Stelle die Bescheinigung aus, widerruft oder beschränkt sie — nach vorheriger Frist zur Korrektur. Gegen ihre Entscheidungen muss ein Einspruchsverfahren bestehen.

Art. 47 — EU-Konformitätserklärung. Schriftlich, maschinenlesbar, physisch oder elektronisch unterzeichnet, zehn Jahre bereitzuhalten. Mit ihrer Ausstellung übernimmt der Anbieter die Verantwortung für die Erfüllung der Anforderungen. Gilt weiteres Unionsrecht, wird eine einzige Erklärung für alles ausgestellt.

Art. 48 — CE-Kennzeichnung. Gut sichtbar, leserlich und dauerhaft. Bei digital bereitgestellten Systemen ist eine digitale Kennzeichnung nur zulässig, wenn sie über die Zugriffsschnittstelle oder einen maschinenlesbaren Code leicht zugänglich ist. War eine notifizierte Stelle beteiligt, kommt deren Identifizierungsnummer hinzu — auch auf jeglichem Werbematerial, das auf die Erfüllung der Anforderungen hinweist.

Art. 49 — Registrierung. Anbieter registrieren sich und das System vor dem Inverkehrbringen in der EU-Datenbank. Ausgenommen ist Anhang III Nummer 2, also kritische Infrastruktur — diese Systeme werden auf nationaler Ebene registriert. Auch wer nach Art. 6 Abs. 3 zu dem Schluss gelangt, sein System sei nicht hochriskant, muss sich und das System registrieren.

Und ein nicht öffentlicher Teil: Für Biometrie, Strafverfolgung sowie Migration, Asyl und Grenzkontrolle erfolgt die Registrierung in einem gesicherten, nicht öffentlichen Teil der Datenbank mit eingeschränktem Datensatz. Zugang haben nur die Kommission und bestimmte nationale Behörden.

Was die beiden Verfahren voneinander unterscheidet

Anhang VI — interne Kontrolle. Drei Schritte, alle beim Anbieter: Er überprüft, ob sein Qualitätsmanagementsystem den Anforderungen des Art. 17 entspricht, prüft die technische Dokumentation auf Übereinstimmung mit den Anforderungen des Abschnitts 2 und überprüft, ob Entwurfs- und Entwicklungsprozess sowie die Beobachtung nach dem Inverkehrbringen mit der Dokumentation im Einklang stehen.

Anhang VII — Bewertung durch eine notifizierte Stelle. Der Anbieter beantragt die Bewertung seines Qualitätsmanagementsystems und legt dafür unter anderem die technische Dokumentation jedes erfassten Systems vor sowie eine schriftliche Erklärung, dass derselbe Antrag bei keiner anderen notifizierten Stelle eingereicht wurde. Die Stelle bewertet, entscheidet begründet und überwacht fortlaufend; beabsichtigte Änderungen am System oder an der Liste der erfassten Systeme sind ihr anzuzeigen.

Was in die Konformitätserklärung gehört

Anhang V nennt acht Angaben. Drei fallen auf:

Die ausdrückliche Erklärung, dass der Anbieter die alleinige Verantwortung für die Ausstellung trägt.

Bei Systemen, die personenbezogene Daten verarbeiten, eine Erklärung, dass das System der Datenschutz-Grundverordnung, der Verordnung für die Unionsorgane und der Richtlinie für den Strafverfolgungsbereich entspricht.

Und Name und Funktion des Unterzeichners samt Angabe, für wen oder in wessen Namen unterzeichnet wurde.

Was in der EU-Datenbank steht

Anhang VIII Abschnitt A verlangt von Anbietern dreizehn Angaben, darunter eine knappe Beschreibung der verwendeten Informationen und der Betriebslogik, den Status des Systems, die Bescheinigung der notifizierten Stelle samt Ablaufdatum und gescannter Kopie, alle Mitgliedstaaten der Bereitstellung, eine Kopie der Konformitätserklärung und die elektronischen Betriebsanleitungen.

Die Betriebsanleitungen sind ausdrücklich ausgenommen für Strafverfolgung sowie Migration, Asyl und Grenzkontrolle.

Anhang IX regelt die Registrierung von Tests unter Realbedingungen — fünf Angaben, darunter eine unionsweit einmalige Identifizierungsnummer und Informationen über Aussetzung oder Abbruch des Tests.

Wann ein anderer zum Anbieter wird

Art. 25 Abs. 1 nennt drei Fälle, in denen Händler, Einführer, Betreiber oder sonstige Dritte als Anbieter gelten und den Pflichten des Art. 16 unterliegen:

• wenn sie ein bereits in Verkehr gebrachtes System mit ihrem Namen oder ihrer Handelsmarke versehen;
• wenn sie es wesentlich verändern und es dabei ein Hochrisiko-System bleibt;
• wenn sie die Zweckbestimmung eines nicht als hochriskant eingestuften Systems so ändern, dass es zu einem wird — ausdrücklich auch bei Systemen mit allgemeinem Verwendungszweck.

Der Erstanbieter scheidet dann aus und muss eng mit dem neuen Anbieter zusammenarbeiten: Informationen, technischer Zugang, Unterstützung. Das gilt nicht, wenn er eindeutig festgelegt hat, dass sein System nicht in ein Hochrisiko-System umgewandelt werden darf.

Bei eingebetteten Systemen nach Anhang I Abschnitt A gilt der Produkthersteller als Anbieter, wenn das System unter seinem Namen in Verkehr gebracht oder in Betrieb genommen wird.

Zulieferer schließen mit dem Anbieter eine schriftliche Vereinbarung über Informationen, Fähigkeiten, technischen Zugang und Unterstützung. Ausgenommen sind Dritte, die Instrumente, Dienste, Verfahren oder Komponenten unter einer freien und quelloffenen Lizenz öffentlich zugänglich machen — sofern es sich nicht um Modelle mit allgemeinem Verwendungszweck handelt.

Verhältnis zu den Betreiberpflichten

Die Pflichten der Anbieter nach Art. 16 und die der Betreiber nach Art. 26 bestehen nebeneinander. Wer ein Hochrisiko-System nur einsetzt, trifft die Betreiberpflichten; wer es entwickelt oder unter eigenem Namen in Verkehr bringt, die Anbieterpflichten. Art. 25 beschreibt, wann der Wechsel eintritt.

Sanktionsrahmen

Art. 99 Abs. 4 nennt die Anbieterpflichten nach Art. 16 ausdrücklich. Verstöße sind mit Geldbußen bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes belegt, je nachdem, welcher Betrag höher ist.

Geltungsbeginn

Für Systeme nach Anhang III ab dem 2. Dezember 2027, für Systeme nach Anhang I ab dem 2. August 2028.