Europäische Kommission legt weltweit ersten Vorschlag für einen Rechtsrahmen für künstliche Intelligenz (KI) vor

„Europa soll das globale Zentrum für vertrauenswürdige künstliche Intelligenz (KI) werden.“ Kein geringeres Ziel hat sich die Europäische Kommission („Kommission“) gesteckt, als sie am 21.04.2021 den Entwurf einer KI-Verordnung vorgelegt hat, in dem sie die Verwendung von KI –  und nicht die Technologie selbst – zu regeln beabsichtigt. Dabei handelt es sich primär um ein Verbotsgesetz, das den Einsatz von KI-Systemen in bestimmten Anwendungsszenarien verbietet bzw. von technisch-organisatorischen Voraussetzungen abhängig macht. Zivilrechtliche Fragen beim Einsatz von KI (z.B. Haftung, Zurechnung von Willenserklärungen, Schaffung von geistigem Eigentum) werden durch den Verordnungsentwurf nicht geregelt.

Brüssel möchte eine führende Rolle bei der Regulierung von KI einnehmen und hofft, auf diesem Feld ähnlich weitreichende Auswirkungen zu erzielen wie durch die Datenschutz-Grundverordnung 2016/679, die für viele der größten Unternehmen der Welt innerhalb kürzester Zeit zum Standard wurde.

Die Gestaltung der Regeln für KI sind eine wichtige Priorität für Kommissionspräsidentin Ursula von der Leyen, und Schlüsselelement der ehrgeizigen europäischen Strategie für Daten. Der Vorschlag ist das Ergebnis einiger Jahre vorbereitender Arbeit in Brüssel: Die Grundlage der europäischen KI-Strategie wurde im April 2018 gelegt und mit dem KI-Weißbuch vom Februar 2020 bestätigt.

Im Folgenden legen wir die zentralen Punkte des Verordnungsvorschlags dar und wagen einen Ausblick auf die Auswirkungen des Vorhabens, den Gesetzgebungsprozess und internationale Aspekte.

Begriff des KI-Systems

Dem Verordnungsentwurf liegt ein weiter Begriff von „KI-Systemen“ zugrunde. Nach Art. 3 Abs. 1 soll ein KI-System bereits dann vorliegen, wenn Software mit einer der folgenden Techniken entwickelt wurde:

• Machine learning approaches, including supervised, unsupervised and reinforcement learning, using a wide variety of methods including deep learning;
• Logic- and knowledge-based approaches, including knowledge representation, inductive (logic) programming, knowledge bases, inference and deductive engines, (symbolic) reasoning and expert systems;
• Statistical approaches, Bayesian estimation, search and optimization methods.
  
  

Regelungszweck

Ziel der EU-Kommission ist es, Rahmenbedingungen zu schaffen, unter denen das Vertrauen in KI gestärkt wird: „Vertrauen ist ein Muss und kein Beiwerk“. Die Bedeutung des Verordnungsentwurfs ist kaum zu unterschätzen, weil eine Gratwanderung zwischen Grundrechtsschutz und Innovationsförderung bewältigt werden muss. Denn es müssen nicht nur potenzielle, durch KI verursachte, Risiken verhindert, sondern zugleich Innovationsanreize geschaffen bzw. erhalten werden. Die Nachteile einer unausgewogenen Regulierung wären enorm: Durch einen nur lückenhaften Schutz könnte grundrechtsgefährdende KI zum Einsatz gelangen; Überregulierung könnte wiederum die Forschungs- und Innovationskraft in der EU hemmen, zumal der Verordnungsentwurf branchenübergreifend für sämtliche Wirtschafts- und Industriezweige gelten soll.

Zu begrüßen ist, dass dem Entwurf – wie schon dem 2020-Weißbuch der Kommission – der Ansatz einer risikobasierten Regulierung zugrunde liegt. Die Verbotstatbestände knüpfen an die vom jeweiligen KI-System ausgehenden Sicherheitsrisiken an. Je höher die möglichen Gefahren sind, desto höher sollen auch die Anforderungen an das KI-System sein. Im Folgenden erläutern wir die einzelnen Tatbestände gemäß Risikoeinstufung:

Unannehmbares Risiko

Nach Art. 5 des Verordnungsentwurfs soll der Einsatz von KI insbesondere in folgenden Bereichen verboten werden:

• Verwendung von Echtzeit-Fernidentifizierungssystemen zur biometrischen Identifizierung in öffentlich zugänglichen Räumen zum Zwecke der Strafverfolgung, sofern dies nicht für bestimmte Zwecke (z.B. Suche nach Opfern von Straftaten, Verfolgung eines Täters) unbedingt erforderlich ist;
• Nutzung eines KI-Systems, das unterschwellige Techniken außerhalb des Bewusstseins einer Person einsetzt, um das Verhalten einer Person in einer Weise wesentlich zu beeinflussen, die dieser oder einer anderen Person körperlichen oder psychischen Schaden zufügt oder zufügen kann;
• Verwendung bestimmter KI-Systeme, die Schwächen einer Personen aufgrund ihres Alters oder einer körperlichen oder geistigen Behinderung ausnutzt;
• Bestimmte Formen der nachteiligen oder ungünstigen Behandlung von Personen im Zusammenhang mit sozialer Zugehörigkeit oder gesellschaftlichem Verhalten.
  
  

Hohe Risiken

Zudem führt der Verordnungsentwurf den Begriff der KI-Systeme mit hohem Risiko („high-risk AI systems“) ein, die in folgenden Bereichen eingesetzt werden:

• kritische Infrastrukturen (z. B. Verkehr), in denen das Leben und die Gesundheit der Bürger gefährdet werden könnten;
• Schul- oder Berufsausbildung , wenn der Zugang einer Person zur Bildung und zum Berufsleben beeinträchtigt werden könnte (z. B. Bewertung von Prüfungen);
• Sicherheitskomponenten von Produkten (z. B. eine KI-Anwendung für die roboterassistierte Chirurgie);
• Beschäftigung, Personalmanagement und Zugang zu selbstständiger Tätigkeit (z. B. Software zur Auswertung von Lebensläufen für Einstellungsverfahren);
• wichtige private und öffentliche Dienstleistungen (z. B. Bewertung der Kreditwürdigkeit, wodurch Bürgern die Möglichkeit verwehrt wird, ein Darlehen zu erhalten);
• Strafverfolgung , die in die Grundrechte der Menschen eingreifen könnte (z. B. Bewertung der Verlässlichkeit von Beweismitteln);
• Migration, Asyl und Grenzkontrolle (z. B. Überprüfung der Echtheit von Reisedokumenten);
• Rechtspflege und demokratische Prozesse (z. B. Anwendung der Rechtsvorschriften auf konkrete Sachverhalte).

KI-Systeme mit hohem Risiko sollen vor Marktzulassung strenge Anforderungen nach Art. 8 ff. erfüllen:

• angemessene Risikobewertungs- und Risikominderungssysteme (Art. 9);
• hohe Qualität derjenigen Daten, mit denen das KI-System betrieben wird, insb. um Diskriminierungen zu vermeiden (Art. 10);
• Technische Dokumentation des KI-System und seines Zwecks (Art. 11);
• Dokumentation sowie Protokollierung der Vorgänge, insb. um die Rückverfolgbarkeit von KI-Ergebnissen zu ermöglichen (Art. 12);
• klare und angemessene Informationen für die Nutzer (Art. 13);
• angemessene menschliche Aufsicht zur Minimierung der Risiken (Art. 14);
• hohes Maß an Robustheit, Sicherheit und Genauigkeit (Art. 15).

Hier handelt es sich um abstrakte technische Vorgaben, die einer weiteren Konkretisierung durch Praxis und die Gerichte bedürfen. Aus technischer Sicht wird zu klären sein, ob die hohen Anforderungen an KI-Trainingsdaten, repräsentativ und fehlerfrei zu sein (vgl. Art. 10 Abs. 3), überhaupt erfüllt werden können. Zu bedenken ist zudem, dass sich bei manchen bereits verwendeten KI-Methoden die hohen Anforderungen an Entscheidungstransparenz und -nachvollziehbarkeit aus technischen Gründen kaum oder nur schwer umsetzen lassen. Insofern wird der Regulierungsvorschlag, sofern er umgesetzt wird, einen hohen Einfluss auf die technische Gestaltung von Prozessen und Geschäftsmodellen haben.

Geringe/Minimale Risiken

Angesichts des für gering erachteten Risikos werden bei bestimmten KI-Systemen lediglich Transparenzpflichten auferlegt, z. B. wenn durch den Einsatz von Chatbots eine Gefahr von Manipulation des Nutzers besteht. Insbesondere sollen Nutzer in bestimmten Konstellationen darüber informiert werden, dass sie mit einem KI-System kommunizieren bzw. interagieren.

Im Übrigen  dürfte die große Mehrheit der KI-Systeme, die derzeit in der EU verwendet werden, weiterhin im Einklang mit den bestehenden Gesetzen genutzt werden.

KI-Compliance im Fokus

Bei Verstößen gegen die Verbotstatbestände sieht der Verordnungsentwurf Bußgelder von bis zu EUR 30 Mio. bzw. 6 % des weltweiten Jahresumsatzes vor. Unternehmen sind daher gut beraten, sich frühzeitig mit den geplanten Anforderungen technisch, organisatorisch und rechtlich auseinanderzusetzen.

KI-Compliance rückt auch zunehmend in den Fokus von Roboter- und Maschinenherstellern. Ergänzt wird der Verordnungsentwurf durch einen Entwurf für eine neue EU-Maschinenverordnung, die die bisherige Maschinenrichtlinie 2006/42/EG ablösen soll. Diese neue Maschinenverordnung soll die sichere Integration von KI-Systemen in den gesamten Maschinenpark sicherstellen. Der ganzheitliche Regelungsansatz hat das Ziel, dass Unternehmen nur eine einzige Konformitätsbewertung durchführen müssen.

Auswirkungen

Die Anforderungen des Verordnungsentwurfs stellen Unternehmen, die KI einsetzen, vor große Herausforderungen. Von entscheidender Bedeutung für den Erfolg der geplanten KI-Verordnung und den Standort Europa als Innovationszentrum für KI dürfte sein, inwiefern die derzeit in Art. 3 des Verordnungsentwurfs verwendeten Rechtsbegriffe (insbesondere „User“, „Provider“, „Software“, „AI system“) noch präzisiert werden und damit verbleibende Auslegungsunschärfen reduziert werden können.

Gesetzgebungsprozess

Die Entwürfe werden nun im Rahmen des EU-Gesetzgebungsverfahrens durch das Europäische Parlament und den Europäischen Rat gehen. Wir erwarten, dass der Entwurf hierbei noch erhebliche Änderungen erfahren wird, bevor er Gesetz wird.

• Das Europäische Parlament wird wahrscheinlich auf eine härtere Linie in Bezug auf die im Vorschlag enthaltenen Ausnahmen drängen. Letzte Woche noch sandte eine parteiübergreifende Gruppe von 40 Europaabgeordneten ein Schreiben an die Kommissionspräsidentin, in dem ein völliges Verbot der Verwendung von Gesichtserkennung und anderen Formen der biometrischen Überwachung an öffentlichen Orten gefordert wurde. Ein zweiter Brief forderte eine stärkere Betonung des Antidiskriminierungsverbots und ein Verbot der vorausschauenden Polizeiarbeit. Die Abgeordneten wollen auch die automatische Erkennung sensibler Merkmale wie Geschlecht, Sexualität und Herkunft verbieten.
• Auf Ratsebene dürften die Ausnahmen für die Strafverfolgung in den Verboten von sicherheitsbewussten Ländern wie Frankreich positiv aufgenommen werden. Im vergangenen Jahr veröffentlichte eine Gruppe von 14 von Dänemark geführten Mitgliedstaaten (Belgien, Tschechische Republik, Finnland, Frankreich, Estland, Irland, Lettland, Luxemburg, Niederlande, Polen, Portugal, Spanien und Schweden) ein Positionspapier, in dem ein flexiblerer Rahmen mit freiwilligen Selbstkennzeichnungssystem gefordert wurde. Auf der anderen Seite gibt es mehr datenschutzorientierte Länder wie Deutschland.
• Zahlreiche Interessengruppierungen werden in den nächsten Monaten versuchen, auf den Gesetzgebungsprozess und den Regelungsgehalt der künftigen Rechtsvorschriften Einfluss zu nehmen.  

Die Kommission hat es vermieden, einen Zeitrahmen für die Verabschiedung der neuen Rechtsvorschriften anzugeben. Erfahrungsgemäß kann es jedoch 18 Monate bis zu zwei Jahre dauern, bis eine Verordnung ratifiziert wird und in Kraft tritt.

Parallel dazu arbeitet die Kommission an der Umsetzung einer Datenstrategie zur Verringerung von Hindernissen und zur Erhöhung des Datenaustauschs (ein Vorschlag zur Regulierung des Datenaustauschs wird noch in diesem Jahr vorgelegt). Mit der Veröffentlichung einer speziellen Haftungsinitiative ist wohl Ende dieses Jahres zu rechnen.

Außenpolitische Dimensionen der vorgeschlagenen KI-Verordnung

Am 2. Dezember 2020 haben die Kommission und der Hohe Vertreter der Union für Außen- und Sicherheitspolitik eine gemeinsame Mitteilung zu einer neuen Agenda der EU und der USA für den globalen Wandel veröffentlicht. Einer der Schwerpunkte ist die Empfehlung, dass die EU und die USA ein transatlantisches KI-Abkommen abschließen, um den Multilateralismus und die regulatorische Konvergenz in der digitalen Wirtschaft zu stärken.

Tatsächlich zeigt sich die politische Führung in Europa und den USA zunehmend durch Chinas Einsatz von KI und seine weitreichenden technologischen Ambitionen beunruhigt. Bisher sind sich die USA und Europa jedoch nicht über einheitliche Regeln für KI einig geworden. Die Kommission hat klargestellt, dass sie beabsichtigt, ihre Agenda für digitale Souveränität voranzutreiben, den EU-Ansatz für KI als Mittelweg zwischen den USA und China zu fördern und dadurch den globalen Einfluss der EU zu stärken.