Finale Textfassung der europäischen KI-Verordnung – Worauf sich Unter­nehmen und öffentliche Einrichtungen einstellen müssen, die KI-Systeme einsetzen wollen

Am 21.01.2024 gelangte die finale Textfassung der EU-Verordnung zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz („KI-Verordnung“) auf inoffiziellen Kanälen an die Öffentlichkeit, die formelle Verabschiedung im Gesetzgebungsverfahren steht allerdings noch aus. Wenig überraschend enthält das fast 900-seitige Arbeitsdokument noch etliche inhaltliche Änderungen, die in vielen Fällen jedoch vor allem die Anbieter von KI-Systemen betreffen.

Für einen Großteil der Unternehmen stellt sich allerdings die viel spannendere Frage: Welche Pflichten kommen auf sie zu, wenn sie fremde KI-Systeme nutzen wollen?

Die europäische KI-Verordnung stellt Unternehmen bei der Anwendung von KI-Systemen durch zahlreiche Pflichten vor besondere Herausforderungen. Ein Grund, auf diese zu verzichten, sind die neuen Pflichten jedoch nicht. Wir haben vor diesem Hintergrund die finale Textfassung einer ersten Analyse unterzogen und auf relevante Pflichten im Anwendungsfall untersucht.

1.   Für wen gelten die Regelungen der KI-Verordnung?

Die KI-Verordnung sieht Vorschriften für eine Vielzahl von Beteiligten vor. Der Schwerpunkt liegt dabei auf dem Anbieter, der das KI-System entwickelt hat. Daneben finden sich aber auch Regelungen für sogenannte Anwender (englisch: „deployer“). Dabei handelt es sich nach der Legaldefinition in Art. 3 Abs. 1 Nr. 4 (sinngemäß) um natürliche oder juristische Personen, die ein KI-System in eigener Verantwortung verwenden. Dem Wortlaut nach werden ausdrücklich auch Behörden, öffentliche Einrichtungen oder sonstige Stellen erfasst. Ausgenommen sind lediglich Fälle, in denen das KI-System im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet wird.

Damit lässt sich eindeutig feststellen: Setzten Unternehmen oder öffentliche Einrichtungen ein KI-System im Rahmen der eigenen Tätigkeit ein, sind sie Anwender und fallen in den Anwendungsbereich der Verordnung.

2.   Striktes Verbot der KI-Praktiken gilt auch für Anwender

Die KI-Verordnung stellt in ihrem Art. 5 strikte Verbote für bestimmte KI-Praktiken auf. Diese gelten auch für Anwender. Dabei geht es um Praktiken, die für Individuen aus grundrechtlicher Perspektive besonders eingriffsintensiv sind. Dazu gehört beispielsweise der Einsatz von Techniken der unterschwelligen Beeinflussung außerhalb des Bewusstseins, um das Verhalten einer Person wesentlich zu beeinflussen oder ihr Schaden zuzufügen, oder bestimmte Formen des Social Scoring. Im gewöhnlichen Unternehmens- oder Behördenalltag dürfte der Einsatz dieser Praktiken eher die Ausnahme sein, sodass den Verboten eher geringere Relevanz zukommen dürfte.

Verstöße gegen diese Verbote werden nach Art. 71 Abs. 3 KI-Verordnung mit Geldbußen von bis zu 35.000.000 EUR oder – im Falle von Unternehmen – von bis zu 7 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres sanktioniert, je nachdem, welcher Betrag höher ist.

3.   Entscheidende Frage für Anwender – Hoch-Risiko-KI-System oder nicht?

Im Gesetzgebungsverfahren wurde einer der Schwerpunkte auf die Regulierung von als hochriskant eingestuften KI-Systemen gelegt. Um die potenziellen Gefahren, die im Einsatz derartiger Technologien gesehen werden, zu beherrschen, wird den Anwendern bei der Verwendung von solchen „Hoch-Risiko-Systemen“ ein umfangreicher Katalog von Pflichten auferlegt.

Unternehmen und öffentliche Einrichtungen sollten daher vor dem Einsatz des KI-Systems unbedingt prüfen, ob das System als Hoch-Risiko-System eingestuft werden muss.

Vorliegen eines Hoch-Risiko-KI-Systems

Für den Anwender stellt sich in diesem Zusammenhang eine alles entscheidende Frage: Handelt es sich beim eigenen KI-System um eine Hoch-Risiko-KI-System? Die Einordnung im Einzelfall ist durchaus komplex. Denn der europäische Gesetzgeber hat diese Frage nicht einfach mit einer starren Legaldefinition des Begriffes gelöst. Stattdessen wurde ein dynamisches System zur Klassifikation von Hoch-Risiko-Systemen in Art. 6 und 7 KI-Verordnung etabliert.

• Erfasst werden KI-Systeme, die als Sicherheitskomponenten für ein Produkt verwendet werden, das bereits Regulierung durch die im Anhang angeführten EU-Rechtsakte unterliegt, oder selbst ein solches Produkt sind. Die maßgeblichen Rechtsakte werden in Annex II der KI-Verordnung aufgeführt. Es geht beispielsweise um Maschinen, Spielzeug oder Medizinprodukte (Art. 6 Abs. 1 KI-Verordnung).
• Zusätzlich werden in Annex III bestimmte Anwendungsbereiche aufgezählt, die zur Einordnung als Hoch-Risiko-KI-System führen (Art. 6 Abs. 2 KI-Verordnung). Relevante Beispiele sind:
  • biometrische Identifizierung: z. B. Echtzeit- und nachträgliche biometrische Fernidentifizierung von Personen;
  • kritische Infrastrukturen: z. B. Sicherheitskomponenten für die Verwaltung und den Betrieb kritischer digitaler und sonstiger Infrastrukturen;
  • Beschäftigung, Personalmanagement: z. B. Auswahl, Analyse oder Bewertung von Bewerbern sowie automatisierte Entscheidungsfindung im Arbeitsverhältnis;
  • grundlegende private und öffentliche Dienste und Leistungen: z. B. Prüfung von Anspruchsberechtigung bezüglich staatlicher Leistungen, aber auch (privatwirtschaftliche) Kreditwürdigkeitsprüfung oder risikobasierte Preisgestaltung bei Lebens- und Krankenversicherungen

Die EU-Kommission kann diese Liste durch delegierten Rechtsakt erweitern. Insofern ist ein kontinuierliches Monitoring erforderlich, da auch nachträgliche Klassifikationen möglich sind.

• Eine neue Ausnahmeregelung sieht vor, dass KI-Systeme trotz der Klassifikation in Annex III nicht als hochriskant gelten, wenn sie kein erhebliches Risiko einer Schädigung der Gesundheit, Sicherheit oder Grundrechte von natürlichen Personen darstellen und materiell auch keinen wesentlichen Einfluss auf Entscheidungsprozesse haben. Dies ist im Ergebnis dann der Fall, wenn das KI-System nur untergeordnete Hilfstätigkeiten ausführt (Art. 6 Abs. 2a KI-Verordnung).

Die Anbieter von KI-Systemen können das Vorliegen dieser Ausnahme selbst beurteilen, müssen die Beurteilung aber entsprechend dokumentieren (Art. 6 Abs. 2b KI-Verordnung). Für Anwender ist dieser Prozess mit einem potenziellen Risiko verbunden, denn es besteht die Gefahr, ein Hoch-Risiko-KI-System einzusetzen, ohne die entsprechenden Pflichten einzuhalten. Anwender sollten daher stets prüfen, ob das KI-System einer Klassifikation des Annex III entspricht, und sich ggf. die Dokumentation des Anbieters vorlegen lassen.

4.   Pflichtenkatalog bei Nutzung von Hoch-Risiko-KI-Systemen

Sollten Unternehmen oder öffentliche Einrichtung ein Hoch-Risiko-KI-System einsetzen, müssen sie den in Art. 29 KI-Verordnung niedergelegten Pflichtenkatalog erfüllen. Dazu zählen insbesondere:

• Einsatz von angemessenen technischen und organisatorischen Maßnahmen (TOMs) um sicherzustellen, dass das KI-System gemäß der Gebrauchsanweisung genutzt wird;
• Sicherstellung von menschlicher Aufsicht durch kompetente, geschulte natürliche Personen, welche die erforderliche Unterstützung erhalten und über die gebotene Autorität verfügen;
• Sicherstellung, dass Eingabedaten in Bezug auf die Zweckbestimmung „relevant und ausreichend repräsentativ“ sind;
• fortlaufende Überwachung nach Maßgabe der Gebrauchsanweisung und Sicherstellung der Außerbetriebnahme bei begründeter Annahme, dass die Anwendung zu einem unverhältnismäßigen Risiko für Gesundheit, Sicherheit oder Grundrechte führt;
• Meldepflichten bei Außerbetriebnahme (Art. 29 Abs. 4, Art. 65 Abs. 1 KI-Verordnung) oder schwerwiegenden Vorfällen;
• Dokumentationspflichten, insbesondere Speicherung von automatisch erzeugten Protokollen für mindestens sechs Monate, um das ordnungsgemäße Funktionieren des Systems nachweisen zu können oder Ex-Post-Kontrollen nachträglich zu ermöglichen;
• Vorabinformation von Arbeitnehmern und Arbeitnehmervertretern, wenn diese am Arbeitsplatz von einem Hochrisiko-KI-System betroffen sind;
• besondere Informationspflichten, wenn Hochrisiko-KI-Systeme Entscheidungen über natürliche Personen treffen oder bei diesen Entscheidungen unterstützen, dazu zählt auch das neue Recht des Betroffenen auf Erklärung einer Einzelfallentscheidung (Art. 68c KI-Verordnung)

Verstöße gegen diese Pflichten werden nach Art. 71 Abs. 4 lit. g) KI-Verordnung mit Geldbußen von bis zu 30.000.000 EUR oder – im Falle von Unternehmen – von bis zu 6 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres sanktioniert, je nachdem, welcher Betrag höher ist.

Überraschende Änderung: Fundamental Rights Impact Assessment erheblich eingeschränkt

Die finale Fassung der KI-Verordnung weist eine überraschende Änderung auf. Entgegen dem erklärten Wunsch des Europäischen Parlaments wurde die Pflicht von Anwendern, ein umfassendes und komplexes Fundamental Rights Impact Assessment durchzuführen, erheblich eingeschränkt. Der Entwurf des Europäischen Parlaments sah die Durchführung für jedwede Nutzungen von Hoch-Risiko-KI-Systemen vor. Dagegen beschränkt Art. 29a KI-Verordnung diese Pflicht grundsätzlich auf staatliche Akteure und solche privaten, die staatliche Aufgaben wahrnehmen.

Die einzigen Ausnahmen für privatwirtschaftliche Anbieter bestehen im Anwendungsfall einer Kreditwürdigkeitsprüfung oder bei der risikobasierten Preisgestaltung für Lebens- und Krankenversicherungen.

Achtung: Pflichtenfalle des Art. 16 KI-Verordnung

Weitere Pflichten für als hochriskant eingestuften KI-Systeme sieht Art. 16 KI-Verordnung vor. Adressat dieses umfangreichen Pflichtenkatalogs ist zwar grundsätzlich nur der Anbieter. Bei Vorliegen bestimmter Voraussetzungen müssen jedoch auch Anwender diese Anbieterpflichten einhalten. Vorsicht ist insbesondere dann geboten, wenn ein Anwender

• ein Hochrisiko-KI-System unter eigenem Namen oder seiner Marke in den Verkehr bringt oder in Betrieb nimmt,
• eine wesentliche Änderung an einem als hochriskant eingestuften KI-System vornimmt, ohne dass dieses seine Eigenschaft als Hochrisiko-KI-System verliert, oder
• eine wesentliche Änderung an der Zweckbestimmung eines sonstigen KI‑Systems vornimmt und es dadurch zu einem Hochrisiko-KI-System wird.

In diesen Fällen ist der ursprüngliche Anbieter nicht mehr für das betreffende Hochrisiko-KI-System verantwortlich (Art. 28 Abs. 1, Abs. 2 S. 1). Er ist jedoch gehalten, dem neuen Anbieter alle erforderlichen Dokumentationen und Unterlagen bereitzustellen, die für die Erfüllung der Anforderungen und Pflichten der KI-Verordnung erforderlich sind (Art. 28 Abs. 2 S. 2).

5.   Sonstige Pflichten bei Nutzung von KI-Systemen

Neben dem speziellen Pflichtenkatalog für Hochrisiko-KI-Systeme in Art. 29 statuiert die KI-Verordnung weitere Pflichten, die Anwender bei der Nutzung von KI-Systemen generell beachten müssen.

Allgemeine Pflicht für alle Anwender

So müssen Anwender von KI-Systemen generell Maßnahmen ergreifen, um ein hinreichendes Verständnis von KI-Systemen – eine KI-Kompetenz („AI literacy“) – auf Seiten des eigenen Personals und der anderen Personen sicherzustellen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind. Dabei sollen die vorhandenen Erfahrungen und Kenntnisse der betroffenen Personen sowie der Kontext berücksichtigt werden, in dem das KI-System eingesetzt werden soll (Art. 4b KI-Verordnung). Diese Pflicht zielt darauf ab, dass im Hinblick auf KI-Systeme informierte Entscheidungen getroffen werden und ein Bewusstsein für die Potenziale und Risiken von KI geschaffen wird. Der Umfang der erforderlichen Kompetenz richtet sich nach dem Risikopotenzial des KI-Systems und den damit verbundenen Pflichten (Art. 3 Abs. 1 Nr. 44 lit. bh, ErwG 9b KI‑Verordnung).

Transparenzpflichten für Anwender bei bestimmten KI-Systemen

Darüber hinaus sieht die KI-Verordnung für bestimmte KI-Systeme Transparenzpflichten vor. So muss der Anwender eines Emotionserkennungssystems oder eines Systems zur biometrischen Kategorisierung die davon betroffenen natürlichen Personen über den Betrieb dieses Systems informieren (Art. 52 Abs. 2 KI-Verordnung).

Erstellt oder verändert das KI-System Bilder, Videos oder Audioinhalte, muss grundsätzlich offengelegt werden, dass diese Inhalte von einer KI generiert oder verändert wurden. Beschränkungen sind insoweit insbesondere in künstlerischen und satirischen Zusammenhängen vorgesehen. (Art. 52 Abs. 3 UAbs. 1 KI-Verordnung).

Erstellt oder verändert das KI-System einen Text, der zu öffentlichen Informationszwecken veröffentlicht wird, muss ebenfalls grundsätzlich offengelegt werden, dass der Text von einer KI generiert oder verändert wurde (Art. 52 Abs. 3 UAbs. 2 KI-Verordnung).

6.   Keine zusätzlichen Pflichten für Anwender von General-Purpose KI (GPAI)

Es gibt eine gute Nachricht für Unternehmen und öffentliche Einrichtungen: Die große politische Debatte im Rahmen des Gesetzgebungsverfahren zum Umgang mit sogenannten GPAIs (vormals noch als Foundation Models bezeichnet) betrifft sie nicht. Unter GPAI-Systeme fallen beispielsweise Large Language Models wie GPT-4 des US-Unternehmens OpenAI. Die Regelungen in Titel IV der KI-Verordnung beschränken sich allein auf zusätzliche Pflichten für Anbieter derartiger KI-Systeme. Anwender von GPAIs müssen in dieser Hinsicht nichts beachten. Die grundsätzlichen Anwenderpflichten, insbesondere in Fällen von Hoch-Risiko-KI-Systemen, gelten aber gleichwohl. Beispielsweise kann die Verwendung eines GPAI-Systems wie ChatGPT als Hoch-Risiko-KI-System eingeordnet werden, wenn der Einsatz in einem für die Klassifizierung festgelegten Bereich erfolgt.

7.   Ab wann gelten die Regelungen?

Die Vorschriften der KI-Verordnung sollen überwiegend zwei Jahre nach Inkrafttreten Anwendung finden (Art. 85 Abs. 2 KI-Verordnung). Für einige Regelungen ist jedoch ein abweichender Anwendungszeitpunkt vorgesehen. Dies betrifft insbesondere die allgemeinen Vorschriften in Titel I sowie das Verbot bestimmter KI-Systeme in Titel II der KI‑Verordnung. Diese sollen bereits sechs Monate nach Inkrafttreten anwendbar sein. Besonders relevant: Die Regelungen zur Klassifizierung von Hoch-Risiko-Systemen und die korrespondierenden Pflichten treten nach drei Jahren in Kraft (Art. 85 Abs. 3 KI‑Verordnung).

8.   Was ist mit privater Nutzung?

Die Nutzung von KI-Systemen zu privaten Zwecken fällt nicht in den Anwendungsbereich der KI-Verordnung. Dementsprechend sind beispielsweise bei der privaten Nutzung von KI-Systemen wie ChatGPT keine besonderen Vorkehrungen zu treffen.

9.   Ausblick

Unternehmen und öffentliche Einrichtungen sind gut beraten, vor dem Einsatz von fremden KI-Systemen eine gründliche Vorabprüfung durchzuführen. In vielen Anwendungsfällen wird der tatsächliche Pflichtenumfang im Ergebnis überschaubar sein. Die Herausforderung besteht also darin, die relevanten Pflichten überhaupt zu identifizieren. Entscheidend wird insoweit sein, ob es sich um ein risikoreiches KI-System handelt. Ungeachtet dessen dürften aus regulatorischer Sicht die größten Hürden beim Einsatz von KI-Systemen weiterhin im europäischen Datenschutzrecht und in der Cybersicherheit liegen.