News

HR und Künstliche Intelligenz – Was die HR-Abteilung über die neue KI-Verordnung wissen muss

27.05.2024

Die kürzlich vom Europäischen Parlament verabschiedete und nun sukzessive in Kraft tretende KI-Verordnung (KI-VO; engl. „AI Act“) bringt neue Spielregeln für den Einsatz von Künstlicher Intelligenz (KI) in Unternehmen mit sich. Sie will menschenzentrierte und vertrauenswürdige KI fördern und gleichzeitig ein hohes Maß an Schutz für öffentliche Güter und Grundrechte gewährleisten. Unternehmen, insbesondere deren HR-Abteilungen, müssen auch deren arbeits- und mitbestimmungsrechtliche Aspekte verstehen, um die damit einhergehenden Verpflichtungen rechtssicher, praktikabel und zielführend umsetzen zu können. Unterwegs ergeben sich für HR ggf. auch noch neue Recruiting-Aufgaben.

Was ist ein „KI-System“?

Zentraler Anknüpfungspunkt der KI-VO ist der Begriff des „KI-Systems“. Es besteht aus vier Komponenten. Bei einem KI-System handelt es sich

um ein maschinengestütztes System,
das für einen in wechselndem Maße autonomen Betrieb ausgelegt ist und
das nach seiner Einführung anpassungsfähig sein kann.
Zudem muss das System aus erhaltenen Eingaben für explizite oder implizite Ziele ableiten, wie Ergebnisse (wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen) hervorgebracht werden, welche die physische oder virtuelle Umgebung beeinflussen können müssen.

Überblick / Zielsetzung der KI-VO

Die KI-VO setzt auf eine risikobasierte Einteilung von KI-Systemen. Diese werden klassifiziert in KI-Systeme mit

unannehmbarem Risiko,
hohem Risiko und
geringem oder minimalem Risiko.

Praxistipp: Für HR-Abteilungen werden häufig Hochrisiko-KI-Systeme relevant werden, die beispielsweise für die Einstellung, Bewertung und Überwachung von Arbeitnehmern genutzt werden können. Diese KI-Systeme unterliegen strengen Anforderungen an Transparenz, menschliche Aufsicht und Informationspflichten.

Anwendungsbereich der KI-VO

Persönlicher Anwendungsbereich: Welche Pflichten Unternehmen treffen, hängt neben der Klassifizierung des KI-Systems davon ab, in welcher Rolle sie die KI einsetzen. Wer ein KI-System anbietet, unterliegt strengeren Pflichten als jemand, der lediglich ein KI-System betreibt.

Anbieter sind diejenigen, die ein KI-System entwickeln oder entwickeln lassen, um es unter ihrem Namen in den Verkehr zu bringen oder in Betrieb zu nehmen.
Betreiber sind jene, die ein KI-System in eigener Verantwortung nutzen, es sei denn, dies erfolgt allein zu persönlichen, nicht zu beruflichen Tätigkeiten.

Praxistipp: Arbeitgeber werden – soweit es sich nicht um Softwareunternehmen handelt – in der Regel als Betreiber zu qualifizieren sein, soweit sie KI-Systeme im Personalbereich einsetzen. Verändern sie indes die Zweckbestimmung eines KI-Systems oder nehmen sie eine andere wesentliche Änderung am KI-System vor, können sie vom Betreiber zum Anbieter werden.

Beispiel: Dies würde etwa gelten, wenn der Arbeitgeber ein KI-System zur bloßen Filterung von Bewerbungen eigenmächtig um Komponenten erweitert, die auch eine Bewertung von Bewerbern ermöglichen.

Arbeitnehmer nutzen KI-Systeme im Betrieb zwar auch beruflich, aber wohl nicht „in eigener Verantwortung“, soweit sie auf Veranlassung des Arbeitgebers handeln. Ihr Handeln fällt dann in den Verantwortungskreis des Arbeitgebers, so dass ihr Umgang mit dem KI-System ihm zuzurechnen ist und sie nicht als (weitere) Betreiber neben den Arbeitgeber treten.

Räumlicher Anwendungsbereich: Der Geltungsbereich der KI-VO ist weit gefasst und betrifft Anbieter und Betreiber unabhängig von ihrem Standort, sofern die KI-Systeme in der EU in Verkehr gebracht oder genutzt werden (sog. „Marktortprinzip“).

Weichenstellung 1: Risikobasierter Ansatz

KI-Systeme können unterschiedliche Risiken bergen. Wie gesagt richtet sich daher der Pflichtenkatalog, der Unternehmen trifft, zunächst nach der Risikokategorie, in die das KI-System einzuordnen ist. Die KI-VO unterscheidet zwischen drei Risikokategorien:

KI-Systeme mit unannehmbarem Risiko: Diese KI-Systeme sind verboten. Sie sind dadurch gekennzeichnet, dass sie Techniken der unterschwelligen Beeinflussung einsetzen oder das Verhalten von Personen auf inakzeptable Weise beeinflussen können.

Beispiel 1: Ein Beispiel wäre der Einsatz von KI zur manipulierten Verhaltensänderung von Arbeitnehmern durch Gamification-Elemente, sofern der Arbeitgeber keine hinreichenden Sicherungsmaßnahmen gegen eine damit möglicherweise verbundene Förderung der Verletzung von arbeitsrechtlichen, insbesondere arbeitszeit- und arbeitsschutzrechtlichen Vorschriften trifft.

Beispiel 2: Ebenfalls verboten wäre ein Social Scoring, das z.B. vorläge, wenn der Arbeitgeber auf Basis eines KI-generierten Scores (z.B. zur Zuverlässigkeit) entscheidet, den Arbeitnehmer freizustellen oder zu versetzen.

Hochrisiko-KI-Systeme: Als Hochrisiko-KI-Systeme zu qualifizieren sind (mit bestimmten Ausnahmen) grundsätzlich KI-Systeme
- für die Einstellung oder Auswahl natürlicher Personen (z.B. um gezielte Stellenanzeigen zu schalten, Bewerbungen zu sichten oder zu filtern und Bewerber zu bewerten);
- für Entscheidungen, welche die Bedingungen oder die Beendigung von Arbeitsverhältnissen bzw. Beförderungen beeinflussen;
- für die Zuweisung von Aufgaben auf der Grundlage von individuellem Verhalten oder persönlichen Eigenschaften bzw. Merkmalen;
- für die Beobachtung und Bewertung der Leistung und des Verhaltens von Personen.

Viele HR-Anwendungen werden daher als Hochrisiko-KI-System zu qualifizieren sein und müssen strengen Anforderungen gerecht werden. Sie müssen – wie nachfolgend näher erläutert wird – transparent und nachvollziehbar sein und es muss eine menschliche Aufsicht sichergestellt werden. Arbeitgeber müssen sicherstellen, dass diese Systeme gemäß den Gebrauchsanweisungen verwendet werden und entsprechende technische und organisatorische Maßnahmen treffen.

Praxistipp: Orientieren können werden sich HR-Abteilungen dabei an dem vom Anbieter festgelegten bestimmungsgemäßen Gebrauch. Der Anbieter definiert nämlich zunächst, ob das KI-System für einen Hochrisiko-Anwendungsfall bestimmt ist. Seiner Festlegung bezüglich des bestimmungsgemäßen Gebrauchs ist auch zu entnehmen, inwieweit ein erhebliches Risiko bzw. ein Ausnahmefall vorliegt.

KI-Systeme mit geringem oder minimalem Risiko: Diese KI-Systeme, wie z.B. Chatbots, unterliegen weniger strengen Anforderungen, müssen aber dennoch so konzipiert sein, dass die Interaktion mit ihnen für die Nutzer offensichtlich ist.

Weichenstellung 2: Rollenbasierter Ansatz

Über die Risikokategorie hinaus bestimmt die Rolle, die ein Unternehmen in Bezug auf das KI-System spielt, welche Pflichten es treffen. Für die im HR-Kontext häufig relevanten Hochrisiko-KI-Systeme gilt zunächst:

Anbieter von Hochrisiko-KI-Systemen müssen
- ein Risikomanagementsystem einrichten und unterhalten,
- die KI-Systeme vor ihrer Inbetriebnahme auf die Einhaltung ihrer bestimmungsgemäßen Funktion und der Vorgaben der KI-VO testen,
- sicherstellen, dass diese während der Nutzung von natürlichen Personen beaufsichtigt werden können („Mensch-Maschine-Schnittstelle“) und
- die Interaktion mit einem KI-System (z.B. einem Chatbot) offenlegen (Transparenzpflicht).
Betreiber – in diese Kategorie werden Arbeitgeber zumeist fallen – müssen
- durch geeignete technische und organisatorische Maßnahmen sicherstellen, dass die KI-Systeme nach den beigefügten Gebrauchsanweisungen verwendet werden;
- eine hierzu ausgebildete natürliche Person mit der menschlichen Aufsicht betrauen und ihr die erforderliche Unterstützung zukommen lassen; für HR ergibt sich daraus als Nebeneffekt ggf. die Aufgabe, Mitarbeiter zu rekrutieren, die das Know-how mitbringen, um diese Beaufsichtigung leisten zu können;
  
  Praxistipp: Ausgehend vom offenen Wortlaut („natürliche Person“) muss die Aufsichtsperson nicht zwingend Arbeitnehmer des Arbeitgebers, sondern könnte auch ein externer Dienstleister sein. Diese Aufsichtspflicht erinnert an die Pflicht zum Dazwischentreten gem. Art. 22 Abs. 1 DS-GVO und könnte ggf. mit dieser verbunden werden.
- Arbeitnehmervertreter und betroffene Arbeitnehmer vor der Inbetriebnahme bzw. Verwendung von Hochrisiko-KI-Systemen am Arbeitsplatz darüber unterrichten, dass sie „Gegenstand“ des KI-Einsatzes sein werden;
  
  Praxistipp: „Arbeitnehmervertreter“ dürften insbesondere Betriebsräte sein, auch wenn sie nicht zwingend „Gegenstand“ des KI-Einsatzes sind. Losgelöst davon bleiben die Unterrichtungspflichten nach § 90 Abs. 1 Nr. 3, § 95 Abs. 2 a oder § 87 Abs. 1 Nr. 6 BetrVG von der KI-VO unberührt.
- betroffene Arbeitnehmer darüber informieren, dass sie einem Hochrisiko-KI-System unterliegen, das Entscheidungen in Bezug auf ihre Person trifft bzw. bei solchen Entscheidungen Unterstützung leistet;
- auf Verlangen jeder Person, die von einer Entscheidung des Arbeitgebers betroffen ist, klare und aussagekräftige Erläuterungen zur Rolle des KI-Systems im Entscheidungsverfahren und zu den wichtigsten Elementen der getroffenen Entscheidung erteilen. Voraussetzung ist, dass
  - der Arbeitgeber als Betreiber die Entscheidung auf Grundlage der Daten aus einem Hochrisiko-KI-System getroffen hat;
  - sie rechtliche Wirkungen entfaltet oder den Betroffenen in ähnlicher Weise erheblich beeinträchtigt;
  - der Betroffene angegeben hat, dass die Entscheidung seiner Ansicht nach nachteilige Auswirkungen auf seine Gesundheit, Sicherheit oder Grundrechte hat.

Ausblick

Die KI-VO stellt Unternehmen vor neue Herausforderungen, bietet aber auch die Chance, durch den verantwortungsvollen Einsatz von KI-Systemen gleichzeitig den technologischen Fortschritt zu fördern und Vertrauen bei Arbeitnehmern und ihren Vertretungen zu schaffen. Eine enge Zusammenarbeit zwischen HR-, Rechts- und Datenschutzabteilungen wird unerlässlich sein, um diese Ziele zu erreichen. Abzuwarten bleibt auch, ob die Bundesregierung von dem Recht Gebrauch macht, für Arbeitnehmer günstigere Vorschriften zu erlassen. Das könnte z.B. im BetrVG, aber auch im Rahmen des nun offenbar tatsächlich bald im Entwurf vorliegenden Beschäftigtendatenschutzgesetzes eine Rolle spielen. Wir werden hierüber berichten.