AI Compliance – Zwischen Regulierung und Innovation

Der Einsatz von Künstlicher Intelligenz (KI) eröffnet Unternehmen zahlreiche Chancen, birgt aber auch erhebliche rechtliche, ethische und kommerzielle Risiken. Eine robuste KI-Compliance-Struktur stellt sicher, dass der KI-Einsatz eines Unternehmens nicht nur innovativ, sondern auch rechtskonform erfolgt. Ziel sollte dabei sein, die rechtliche Compliance im Rahmen einer übergeordneten KI-Governance in Einklang mit den wirtschaftlichen und strategischen Zielen des Unternehmens zu bringen. Nur auf diese Weise kann sichergestellt werden, dass hinreichend Raum für Innovation und Fortschritt besteht.

Anspruchsvolles regulatorisches Umfeld

Wesentlich für den Aufbau einer KI-Compliance-Struktur ist die Kenntnis der für das jeweilige Unternehmen maßgeblichen rechtlichen und regulatorischen Rahmenbedingungen. Innerhalb Deutschlands bzw. der Europäischen Union sind dies u. a. die Folgenden:

• KI-Verordnung: Am 08.2024 ist die KI-Verordnung in Kraft getreten. Abhängig vom konkreten Einsatzzweck eines KI-Systems enthält die Verordnung sowohl für Anbieter als auch für Betreiber von KI-Systemen umfangreiche Pflichten (Überblick über die KI-VO). Um die Einhaltung der Anforderungen der KI-Verordnung (z. B. Dokumentation, menschliche Aufsicht) sicherzustellen, bedarf es entsprechender Compliance-Strukturen, einschließlich entsprechender Rollen und Zuständigkeiten. Folgende Aspekte sind dabei besonders wichtig:
  • Viele Unternehmen gehen davon aus, dass die Pflichten der KI-VO sie nicht treffen, da sie „keine KI entwickeln“. Dies ist ein Trugschluss. Anbieter und damit Verpflichteter i. S. d. KI-Verordnung ist ggf. auch, wer lediglich Veränderungen an einem KI-Modell oder -System vornimmt oder dieses in seine eigenen Produkte integriert (z. B. Einbindung eines LLMs als Chatbot innerhalb einer App).
  • Oft sind Unternehmen der Auffassung, dass sie weder verbotene KI-Praktiken noch Hochrisiko-KI-Systeme betreiben. Bei genauerem Hinsehen wird sodann jedoch deutlich, dass sich der Einsatz im Grenzbereich bewegt (z. B. Einsatz von KI-Systemen im Kundenservice, die Emotionen von Kunden erkennt und daraufhin entsprechende Vorschläge für die Kommunikation unterbreitet).
  • Für Arbeitgeber:innen bestehen nach der KI-VO bestimmte Hinweis- und Informationspflichten, die alle Unternehmen treffen, die KI einsetzen (HR und Künstliche Intelligenz).
  • Zwar finden einige der Pflichten erst ab 2026 bzw. 2027 Anwendung, ein Teil gilt jedoch bereits ab Februar 2025. Zu beachten ist in diesem Zusammenhang insbesondere die wohl alle Unternehmen treffende Pflicht zur Schulung ihrer Mitarbeitenden im Hinblick auf die Grundlagen von KI.
• Mitbestimmung: Unternehmen, die über einen Betriebsrat verfügen, sollten diesen frühzeitig im Rahmen der KI-Governance einbeziehen, um das Risiko, dass KI-Projekte kurzfristig gestoppt werden, zu unterbinden. Dies gilt insbesondere auch bei der Erstellung von Schulungen und Leitlinien für Mitarbeitende (HR und Künstliche Intelligenz).
• Datenschutz: KI braucht Daten, owohl im Bereich des Trainings, als auch im Rahmen eines ggf. erfolgenden Finetunings sowie beim Einsatz des Systems. Soweit es sich um personenbezogene Daten handelt, muss die Verarbeitung in Einklang mit den datenschutzrechtlichen Vorgaben, insb. der DS-GVO erfolgen. Insoweit gilt es u. a. bestehende Einwilligungen bzw. Datenschutzinformationen zu überprüfen (KI und Datenschutz).
• Data Act: Auch der Data Act ist im Zusammenhang mit dem Einsatz von KI von Bedeutung. Die Verordnung, welche ab September 2025 bereits in Teilen anwendbar ist, erfordert im Fall der Erhebung nicht-personenbezogener(!) Daten im Zusammenhang mit IoT-Produkten, damit verbundenen Services und virtuellen Assistenzen eine vertragliche Grundlage in Form einer Sofern entsprechende Daten im KI-Kontext eingesetzt werden, ist sicherzustellen, dass die entsprechenden Lizenzrechte bestehen.
• Kartellrecht: Viele übersehen beim Einsatz von KI sich etwaig ergebende kartellrechtliche Aspekte. Das Sammeln von Daten darf nicht in Konflikt mit dem Verbot des Austausches wettbewerblich sensibler Daten gelangen. Auch ist zu beachten, dass es unter KI-Systemen zu eigenständigen, kartellrechtswidrigen Absprachen kommen kann.
• Immaterialgüterrecht (insb. Urheberrecht): Von herausragender Bedeutung im Zusammenhang mit KI-Systemen ist weiterhin das Immaterialgüterrecht. Dies betrifft zunächst die Frage, mit welchen Inhalten ein System oder Modell trainiert werden darf. Vor allem § 44b UrhG, welcher unter bestimmten Voraussetzungen das Data und Text Mining erlaubt, ist insoweit relevant. Die Vorschrift war zuletzt erstmalig Gegenstand einer gerichtlichen Entscheidung (Data und Text Mining)). Daneben stellen sich, insbesondere beim Sourcing und der Entwicklung von KI-Lösungen, Fragen danach, wem KI-generierte Inhalte zustehen. Grund hierfür ist, dass rein maschinengenerierte Erzeugnisse nach dem deutschen Urheberrecht keinen Schutz genießen.
• Schutz von Geschäftsgeheimnissen: Soweit während dem Training oder beim Einsatz der KI ggf. Geschäftsgeheimnisse des Unternehmens verwendet werden, ist sicherzustellen, dass diese weiterhin dem Schutz des Geschäftsgeheimnisgesetzes unterfallen und diesen nicht verlieren.
• Branchenspezifische Anforderungen: Neben den aufgeführten rechtlichen Rahmenbedingungen können branchenspezifische Anforderungen bestehen. Dies gilt etwa für Versicherungen sowie Banken (z. B. § 25b KWG).
• Vertragliche Verpflichtungen: Soweit Daten Dritter im Rahmen des Einsatzes von KI verwendet werden, ist neben einer Einhaltung der gesetzlichen Anforderungen weiterhin sicherzustellen, dass die Verwendung nicht gegen vertragliche Verpflichtungen, insbesondere Vertraulichkeitsvereinbarungen und Löschpflichten, verstößt.

Ergänzend sei in diesem Zusammenhang angemerkt, dass im Rahmen der rechtlichen Bewertung stets zu bedenken ist, dass KI „keine Grenzen kennt“. Im Fall eines länderübergreifenden Einsatzes sind daher die Anforderungen der jeweiligen Jurisdiktionen frühzeitig zu berücksichtigen.

Best Practices auf dem Weg zur KI-Compliance

Im Hinblick auf die Etablierung einer KI-Compliance-Struktur bietet sich ein Projektvorgehen an, das auf einem interdisziplinären Team aufsetzt und von Anfang an alle wesentlichen Stakeholder innerhalb des Unternehmens berücksichtigt.

Hierzu gehören i. d. R. Vertreter:innen aus der Rechts- wie Compliance-Abteilung, der IT, der IT-Sicherheit sowie etwaigen Entwicklungsabteilungen. Ferner bietet es sich an – vor allem im Hinblick auf etwaige erfolgende Mitteilungen an Mitarbeitende – auch die HR-Abteilung bzw. den Betriebsrat mit einzubeziehen. Auch der (IT-)Einkauf sollte berücksichtigt werden, um den beim AI Sourcing bestehenden Risiken effizient und unter Entlastung der Rechtsabteilung zu begegnen. Daneben ist sicherzustellen, dass das Management hinreichend beteiligt wird und der Kontakt in die Fachabteilungen sichergestellt ist, um hier eine Umsetzung der Compliance-Anforderungen zu gewährleisten.

Maßnahmen zum Aufbau der KI-Compliance

Zu den Maßnahmen, die zur Sicherstellung eines rechtssicheren Einsatzes dienen, gehören u. a. die Folgenden:

• Erstkommunikation: Zu Beginn des Projektes bietet sich eine Mitteilung an sämtliche Mitarbeitende zur Eindämmung zentraler Risiken an. Inhalt einer solchen Kommunikation sollte insbesondere ein Verweis auf die größten Risiken – etwa die Verletzung von Rechten Dritter oder die Preisgabe von Geschäftsgeheimnissen – sein.
• Risk Assessment: Eine umfassende Erhebung der im Unternehmen im Einsatz befindlichen und geplanten KI-Anwendungen bildet die Grundlage für ein Risk Assessment sowie den Aufbau der KI-Compliance-Struktur. Um hier möglichst effizient vorzugehen, sollten die für eine erste Einschätzung der rechtlichen Risiken erforderlichen Sachverhaltsinformationen erhoben werden. Eine Einzelfallprüfung sollte hingegen nur erfolgen, wenn das Risk Assessment auf bestehende Risiken hindeutet. Die Umsetzung des Risk Assessment kann sowohl über dokumentgestützte Abfragen als auch über entsprechende Softwareanwendungen erfolgen.
• Festlegung von Richtlinien zum Einsatz von KI: Um die Mitarbeitenden über die beim Einsatz von KI bestehenden Risiken zu informieren und ihnen entsprechende Handlungsleitlinien an die Hand zu geben, bieten sich weiteren KI-Richtlinien an. I. d. R. bietet sich dabei ein modularer Aufbau an, d. h. eine Basis-Richtlinie, die allgemein den Einsatz von KI regelt, sowie ergänzende Handlungsleitlinien für bestimmte Einsatzbereiche (z. B. Einsatz von KI im Bereich des Codings).
• Schulung der Mitarbeitenden: Ein wesentlicher Baustein im Rahmen der KI-Compliance ist die Schulung der Mitarbeitenden. Ähnlich wie im Bereich der Richtlinien, erweist sich auch insoweit regelmäßig ein gestufter Ansatz als sinnvoll. Aufbauend auf einer Grundlagenschulung für alle Mitarbeitenden können daneben zusätzlich Schulungen für besonders risikoreiche Anwendungsbereiche oder spezifische KI-Systeme eingeführt werden.
• Mitbestimmung: Abhängig vom jeweiligen Unternehmen sowie der Gepflogenheiten im Rahmen des Betriebsrats kann weiterhin die Anpassung einer bestehenden Betriebsvereinbarung oder deren Erweiterung Sinn ergeben, um besondere, für KI geltende Anforderungen zu integrieren.
• AI Sourcing: Eine umfassende KI-Compliance-Struktur sollte weiterhin Risiken, die beim Sourcing von KI-Anwendungen (AI Sourcing) bestehen, berücksichtigen. Dies gilt zum einen im Hinblick auf die Vertragsbedingungen von KI-Anbietern, die i. d. R. den Kunden benachteiligende Klauseln enthalten. Zum anderen bedürfen Verträge über KI besonderer Aufmerksamkeit, da KI gerade keine gewöhnliche Software ist. Beispielhaft können hierfür die Lizenzierung von Daten sowie des KI-Outputs, die vertragliche Zuordnung von maschinengenerierten Inhalten und die Nutzungsrechte bzw. der Ausschluss von Nutzungsrechten des Anbieters an Prompts aufgeführt werden.
• Aufbau einer Compliance-Struktur: Im Hinblick auf die Ausgestaltung der Compliance-Struktur bestehen unterschiedliche Ausgestaltungsmöglichkeiten, die im Einzelfall und unter Berücksichtigung der bestehenden Strukturen, des Risikoprofils des Unternehmens sowie der Einsatzbereiche von KI zu bewerten sind. Denkbar sind u. a. die Implementierung eines KI-Gremiums, die Integration neuer KI-Prozesse und Zuständigkeiten in die bestehende Compliance-Abteilung oder die Ernennung eines / einer separaten KI-Beauftragten. In der Regel bietet es sich an, auf bestehenden Strukturen aufzubauen, um Synergieeffekte zu nutzen. Wichtig ist weiterhin die Festlegung von Rollen, Zuständigkeiten und Reporting-Pflichten.

Präventive Entlastung der Rechts- und Compliance-Abteilung

Um im Hinblick auf die Gewährleistung der rechtlichen Compliance die Rechts- und Compliance-Abteilungen vor einem Überlauf an Anfragen zu schützen, bieten sich nach unserer Erfahrung eine Reihe von Maßnahmen an. Hierzu gehören u. a. abgestimmte Prüfungskataloge (z. B. in Form von Checklisten und Klauselsammlungen), die den Fachabteilungen sowie dem (IT)Einkauf zur Verfügung gestellt werden (ggf. durch Einbindung in bestehende Tools). Daneben können Handlungsleitlinien sowie KI-Expert:innen in den Fachabteilungen zur Entlastung der Rechtsabteilung sowie zur Sicherstellung der rechtlichen KI-Compliance beitragen. Zeit zu Handeln

Vor dem Hintergrund des Umstandes, dass es sich im Fall der KI-Compliance um ein Schnittstellenthema zwischen Technik und Recht handelt und eine Vielzahl von Stakeholder zu beteiligen ist, ist für die Etablierung einer Compliance-Struktur hinreichend Zeit einzuplanen. Abhängig von der Größe des Unternehmens und den vorbestehenden Strukturen können entsprechende Projekte schnell 6 - 12 Monate oder länger in Anspruch nehmen. Da rechtliche Risiken beim Einsatz von KI ferner nicht erst mit Anwendbarkeit der KI-Verordnung, sondern bereits aufgrund der geltenden Rechtslage bestehen, sind Unternehmen gehalten, keine weitere Zeit zu verlieren. Anderenfalls drohen Situationen, in denen der Einsatz von KI – mangels entsprechender rechtlicher Rahmenbedingungen – nicht realisiert werden kann. Die wirtschaftlichen Folgen, die sich hieraus ergeben können, können dabei erheblich sein.