AI Act verabschiedet: Ein Blick auf die überarbeitete Fassung des EU-Parlaments

Das EU-Parlament verabschiedete am Mittwoch, 13. März 2024, den AI Act. Nun steht nur noch die Bestätigung durch den Rat aus. Der AI Act könnte damit im Juni 2024 in Kraft treten. In der überarbeiteten Fassung des EU-Parlaments wurden viele Vorschriften verschoben. Umso mehr lohnt sich ein genauer Blick in den aktualisierten Text der Verordnung.

Der AI Act sieht nach Inkrafttreten ein gestaffeltes Wirksamwerden seiner Bestimmungen vor (vgl. Art. 113 AI Act):

• Die allgemeinen Bestimmungen und Regelungen zu verbotener KI (Kapitel I und II des AI Act) sind sechs Monate nach Inkrafttreten des AI Act wirksam, Art. 113 Abs. lit. a AI Act.
• Die Regelungen zuHochrisiko-KI sind grundsätzlich 24 Monate nach Inkrafttreten des AI Act wirksam (Art. 113 AI Act). Die Regelungen aus Kapitel III Abschnitt 4 und Kapitel VII gelten bereits zwölf Monate nach Inkrafttreten des AI Act, Art. 113 lit. b AI Act. Hochrisiko-KI-Systeme, die einer Regulierung im Sinne von Anhang I des AI Act unterfallen, müssen die einschlägigen Regelungen nach 36 Monaten berücksichtigen (Art. 113 lit. c AI Act).
• Die speziellen Regelungen zu GPAI-Modellen (Kapitel V) sind zwölf Monate nach Inkrafttreten des AI Act wirksam, Art. 113 lit. b AI Act.
• Die übrigen Regelungen sind 24 Monate nach Inkrafttreten des AI Act wirksam, Art. 113 AI Act.

Der AI Act differenziert zwischen verbotenen Systemen mit einem

• „unannehmbaren Risiko“ (dazu Ziffer 1),
• sog. Hochrisikosystemen, die den zentralen Regelungsgegenstand des Gesetzes ausmachen (dazu Ziffer 2),
• KI-Systemen mit geringem Risiko (Ziffer 3) sowie
• grundlegenden KI-Modellen (sog. General Purpose AI), die vielfältig einsetzbar sind und daher nicht ohne weiteres einer Risikoklasse zugeordnet werden können (dazu Ziffer 4).                                                                                                                                                                                                                                              

1. Risikoklasse "Unannehmbares Risiko"

KI-Systeme mit unannehmbarem Risiko dürfen nicht in Verkehr gebracht, in Betrieb genommen oder verwendet werden. Hierzu gehören nach Art. 5 AI Act beispielsweise Systeme, die mit dem Ziel, Personen zu schädigendem Verhalten zu bewegen, manipulative Techniken einsetzen oder persönliche Schwächen ausnutzen. Derartige Schädigungen können sowohl physischer, psychischer und sogar finanzieller Natur sein (ErwG 29 AI Act). Dieses Verbot adressiert damit beispielsweise KI-Systeme, die gezielt ältere Menschen ansprechen und deren finanzielle Unsicherheit ausnutzen, um riskantere Finanzprodukte zu verkaufen.

Art. 5 AI Act gilt nicht für KI-Systeme, die ausschließlich für militärische Zwecke, zur Verteidigung oder Zwecke der nationalen Sicherheit in Verkehr gebracht oder betrieben werden oder die speziell für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden, Art. 2 Abs. 3 bzw. 6 AI Act.

2. Risikoklasse "Hohes Risiko"

Hochrisiko-KI-Systeme im Sinne von Art. 6 AI Act stellen ein hohes Risiko für die Gesundheit und Sicherheit oder für die Grundrechte natürlicher Personen dar und sind abschließend in Anhang I und III zum AI Act aufgelistet. Hierunter fallen zunächst Systeme, die unter die in Anhang I zum AI Act genannten Produktsicherheitsregelungen der EU fallen und nur unter den dort beschriebenen Voraussetzungen in Verkehr gebracht bzw. in Betrieb genommen werden dürfen, z. B. KI-Systeme, die in Spielzeug, Medizinprodukten oder Schutzausrüstung verarbeitet sind. Zusätzlich zählt Anhang III zum AI Act verschiedene Bereiche auf, in denen ein Einsatz der Systeme die Kategorisierung als Hochrisiko-KI zur Folge hat.

Der Verweis in Art. 6 Abs. 1 lit. b AI Act auf den Anhang II anstelle von Anhang III, der noch in der letzten Fassung die Einsatzbereiche von Hochrisiko-KI-Systemen benannte, ist offenbar ein Redaktionsversehen.

Wichtigstes Beispiel sind KI-Systeme im Bereich HR, die von Arbeitgebern z. B. im Bewerbungsprozess zur Einstellung oder Auswahl ihrer Angestellten eingesetzt werden. Gemäß § 87 Abs. 1 Nr. 6 BetrVG ist die Einführung und Anwendung derartiger KI-Systeme mitbestimmungspflichtig. In diesem Zusammenhang entschied das Arbeitsgericht Hamburg (Beschl. v. 16.01.2024 – 24 BVGa 1/24) jüngst zwar, dass die Nutzung von ChatGPT über die privaten Accounts der Mitarbeiter nicht mitbestimmungspflichtig ist. Die Mitbestimmungspflicht besteht aber sehr wohl dann, wenn der Arbeitgeber derartige Accounts zur Verfügung stellt.

Nach Art. 7 AI Act kann die Kommission weitere Hochrisikosysteme in Anhang III ergänzen.

1.1 Vorgaben für die Konzipierung und Entwicklung von Hochrisiko-KI-Systemen

Art. 8 bis Art. 15 AI Act stellen Anforderungen an die Konzipierung und Entwicklung der Hochrisiko-KI-Systeme:

1. Der Anbieter muss gemäß Art. 9 AI Act potenzielle Risiken des Systems identifizieren, bewerten und durch Risikomanagementmaßnahmen eingrenzen (Risikomanagement-System), um die Restrisiken auf ein annehmbares Maß zu reduzieren. Übertragen auf KI-Systeme zum Arbeitnehmermanagement können insbesondere Unternehmensrichtlinien, die Berechtigungen und Anwendung der Systeme regeln, Risiken eines fehlerhaften Einsatzes reduzieren (vgl. Art. 9 Abs. 5 lit. c AI Act). 
2. Hochrisiko-KI-Systeme dürfen nur mit Daten trainiert werden, die bestimmte Qualitätsvorgaben erfüllen, Art. 10 AI Act. Konkret sollen diese relevant, hinreichend repräsentativ und im Hinblick auf ihren Zweck möglichst fehlerfrei und vollständig sein. Der Gesetzgeber möchte mit diesen generischen Aussagen im Ergebnis sog. Bias verhindern, also, dass sich beispielsweise selbstfahrende Autos bei Kollisionskonflikten gegen bestimmte Personengruppen entscheiden oder im Bewerbungsprozess bestimmte Bewerber automatisch ausgeschlossen werden, weil sie im Datensatz nicht repräsentiert waren. Dies macht auch die Verarbeitung von sensiblen Daten wie z. B. Gesundheitsdaten erforderlich, deren Verarbeitung nach Art. 9 Abs. 1 DSGVO grundsätzlich untersagt ist. ErwG 70 AI Act stellt nunmehr klar, dass die Verarbeitung dieser Daten zur Verhinderung von Bias in KI ein wichtiges öffentliches Interesse im Sinne des Erlaubnistatbestandes von Art. 9 Abs. 2 lit. g DSGVO.
3. Vorgaben zur technischen Dokumentation und Aufzeichnungspflichten, die u. a. zum Nachweis der Konformität des Systems mit den Vorgaben des AI Act dienen, enthalten die Art. 11-13 AI Act. Zusätzlich müssen Hochrisiko-KI-Systeme so konzipiert und entwickelt werden, dass sie von natürlichen Personen wirksam überwacht werden können, Art. 14 AI Act. Angesichts der sog. Blackbox von KI-Systemen kann dieses „wirksame Überwachen“ nicht bedeuten, dass Anbieter sämtliche Verarbeitungsprozesse des Systems nachvollziehen und infolgedessen korrigieren können müssen. Dementsprechend knüpfen die Aufsichtsmaßnahmen auch an den Grad der Autonomie eines KI-Systems an, vgl. Art. 14 Abs. 3 AI Act. Bei vollautonomen Systemen dürfte sich die Aufsicht demnach auf eine Überwachung und Kontrolle des Outputs beschränken und gegebenenfalls eine Abschaltung des Systems erfordern (dahingehend auch Art. 14 Abs. 4 AI Act). Denkbar ist zudem der Einbau von Betriebsbeschränkungen, über die sich das System nicht eigenständig hinwegsetzen kann (vgl. ErwG 73 AI Act).   
4. Schließlich müssen die Systeme so entwickelt werden, dass sie ein angemessenes Maß an Robustheit gegen Umwelteinflüsse, wie neue Nutzungskontexte oder Cyberangriffe und sogar Fehler innerhalb der verwendeten Algorithmen aufweisen, Art. 15 AI Act. Gerade KI-Systeme, die auf künstlichen neuronalen Netzen basieren, sind damit adressiert, da sie theoretisch dauerhaft „weiterlernen“ und ihre Topologie verändern können, sodass sie für die Einspeisung fehlerhafter Datensätze empfänglich sind. Denkbar wären etwa Angriffe auf ein KI-System durch die wiederholte Konfrontation mit unerwarteten Situationen, infolgedessen die KI diese ungewöhnlichen Situationen zum Regelmaßstab nimmt, etwa bei widerholten abgesprochenen Aktienverkäufen. Die Einflussnahme derartiger Anomalien auf die Mustererkennung eines Systems muss begrenzt werden (vgl. ErwG 75 AI Act). 

1.2 Pflichtenprogramm für Anbieter, Einführer, Händler und Betreiber von Hochrisiko-KI-Systemen

Art. 16 bis Art. 27 AI Act verpflichten Anbieter, Einführer, Händler und Betreiber von Hochrisiko-KI-Systemen:

1. Die umfangreichsten Pflichten treffen die Anbieter und Betreiber von KI-Systemen. Anbieter entwickeln ein KI-System oder GPAI-Modell und bringen es unter ihrem eigenen Namen oder Marke auf den Markt oder nehmen es in Betrieb, Art. 3 Nr. 3 AI Act. Betreiber verwenden KI-Systeme in eigener Verantwortung im Rahmen einer beruflichen Tätigkeit, Art. 3 Nr. 4 AI Act. Anbieter sind daher in der Regel Entwickler von KI-Systemen, während Betreiber fremde Systeme kommerziell nutzen. Betreiber können Anbieterpflichten treffen, wenn sie nachträglich ihren Namen oder ihre Marke auf ein Hochrisiko-KI-System anbringen oder das System wesentlich verändern, Art. 25 AI Act.
2. Anbieter müssen zudem unverzüglich Korrekturmaßnahmen ergreifen, wenn ein Hochrisiko-KI-System nicht AI Act-konform funktioniert. In diesem Falle können Anbieter zum Rückruf und zur Deaktivierung ihres Systems verpflichtet sein, Art. 20 Abs. 1 AI Act.
3. Vergleichbar mit Art. 27 DSGVO müssen Anbieter von Hochrisiko-KI-Systemen, die außerhalb der EU niedergelassen sind, einen in der Union niedergelassenen bevollmächtigten Vertreter benennen, Art. 22 AI Act.
4. Art. 23 AI Act verpflichtet die Einführer von Hochrisiko-KI-Systemen, getreu des Vier-Augen-Prinzips dazu, die Umsetzung verschiedener Pflichten, wie der Dokumentationspflicht aus Art. 11 AI Act, vor dem Inverkehrbringen des Systems zu prüfen. Ergänzt wird diese Kontrolle durch eine weitere Prüfung der Händler, Art. 24 AI Act.
5. Die Betreiber müssen die Hochrisiko-KI-Systeme kontinuierlich überwachen und kontrollieren, vgl. Art. 26 AI Act. Sie müssen einerseits angemessene technische Maßnahmen ergreifen, um das System sicher betreiben zu können und andererseits die intellektuellen Ressourcen bereitstellen, um die zuständigen Personen zur Aufsicht zu befähigen (Art. 26 Abs. 1 AI Act). Damit werden Betreiber verpflichtet, ihr Personal in Technik und Umgang mit dem System zu schulen. Nach Art. 26 Abs. 4 AI Act ist auch der Betreiber zur Prüfung der Qualität seiner Daten verpflichtet. Er muss sicherstellen, dass die Eingabedaten im Hinblick auf den Einsatzbereich des Systems relevant und hinreichend repräsentativ sind. Offenbar adressiert der Gesetzgeber dabei wieder Systeme, die auf künstlichen neuronalen Netzen basieren und daher anfällig für ein sog. Over- oder Underfitting sind, d. h. sich an bestimmte Datensätze anpassen und infolgedessen unter Umständen fehlerhafte Ergebnisse liefern können.
6. Betreiber, die KI-Systeme zur Bewertung der Kreditwürdigkeit von Personen einsetzen oder beabsichtigen, auf die Gestaltung von Preisen derer Lebens- und Krankenversicherungen Einfluss nehmen möchten, müssen nach Art. 27 AI Act eine grundrechtliche Folgenabschätzung durchführen. Durch dieses Instrument sollen die besonderen Risiken und Auswirkungen des Systems, speziell auf die Grundrechte möglicher Betroffener, identifiziert und bewertet werden. Die Systeme werden wohl insbesondere auf mögliche Verletzungen des Gleichheitssatzes nach Art. 3 GG zu prüfen sein.

1.3 Sonderregeln für notifizierende Behörden und Zertifikate

Art. 28 bis Art. 39 AI Act richten sich unmittelbar an notifizierende Behörden und Stellen, die auf Hochrisiko-KI-Systeme zurückgreifen. Weiterhin enthalten Art. 40 bis Art. 49 AI Act Regelungen zu Konformitätsbewertungen, Bescheinigungen und Registrierungen für diese Hochrisiko-KI-Systeme.

2. Risikoklasse „Geringes oder minimales Risiko“

Sind KI-Systeme nicht als Hochrisiko-KI-Systeme einzustufen oder verboten, handelt es sich um KI-Systeme mit geringem oder minimalem Risiko. Das „AI Office“ und die Mitgliedstaaten sollen nach Art. 95 AI Act die Aufstellung von Verhaltenskodizes über die freiwillige Einhaltung bestimmter Vorschriften des AI Act fördern und erleichtern. Für KI-Systeme, die mit dem Menschen kommunizieren, gelten darüber hinaus Transparenzpflichten, Art. 50 AI Act. Dem Nutzer der KI muss mitgeteilt werden, dass er mit einer KI interagiert.

3. GPAI-Modelle

Die neue Fassung des AI Act enthält die Kategorie der sog. General Purpose AI Modelle („GPAI-Modelle“), vgl. Kapitel V AI Act. Charakteristisch für diese GPAI-Modelle ist ihr allgemeiner Verwendungszweck, vgl. ErwG 97 AI Act. Hierunter fallen beispielsweise auch GPT-Modelle, auf denen ChatGPT basiert. Der AI Act begreift GPAI-Modelle als Basis für ein hieraus zu entwickelndes, nutzbares KI-System: Erst durch die Kombination des GPAI-Modells mit Komponenten wie einer Benutzerschnittstelle oder durch die Implementierung in ein anderes KI-Systeme wird ein GPAI-Modell zu einem KI-System, vgl. ErwG 97 AI Act. Aufgrund dieser Weiterentwicklungsmöglichkeiten und ihres breiten Einsatzbereichs kann die Nutzung dieser Modelle zu unterschiedliche Risiken führen.

1. Grundlegend gelten für GPAI-Modelle die Transparenzpflichten aus Art. 50 AI Act Act sowie besondere Pflichten für ihre Anbieter nach Art. 53 AI Act. Natürliche Personen müssen beim Einsatz dieser KI insbesondere erkennen können, dass sie mit einer KI interagieren.
2. Die GPAI-Modelle können infolge ihrer Implementierung in ein anderes KI-System auch als Hochrisiko-KI-Systeme einzuordnen sein, vgl. ErwG 85 AI Act. Damit gilt für diese das entsprechende erweiterte Pflichtenprogramm.
3. Ergänzend werden in Art. 51 AI Act „GPAI-Modelle mit systemischen Risiko“ adressiert, deren Inbetriebnahme zusätzliche Pflichten zur Risikominimierung nach Art. 55 AI Act auslöst. Die Einstufung stützt sich hauptsächlich darauf, ob diese Modelle über Fähigkeiten mit einem hohen Wirkungsgrad verfügen, kann aber auch durch eine Entscheidung der Kommission erfolgen, wenn sie ein Modell als dazu gleichwertig ansieht. Die aktuell fortschrittlichsten GPAI-Modelle erreichen den Wirkungsgrad, der für GPAI-Modell mit systemischem Risiko verlangt wird. Zu den Pflichten der Anbieter von GPAI-Modellen nach Art. 53 AI Act gehören beispielsweise die Erstellung und Aktualisierung einer technischen Dokumentation des Modells, eine Zusammenfassung der für das Training des Modells verwendeten Daten oder die Einführung einer Politik zur Einhaltung des Urheberrechts.
4. Anbieter von GPAI-Modellen mit systemischen Risiko müssen gemäß Art. 55 AI Act Modellevaluierungen durchführen, Systemrisiken bewerten bzw. Eindämmen sowie ein angemessenes Niveau an Cybersicherheit und physischer Infrastruktur aufweisen.                                                                                                                       

Oppenhoff Taskforce AI

Sie interessieren sich für weitere Themen rund um KI-Systeme in Ihrem Unternehmen? Die fachbereichsübergreifende Oppenhoff Taskforce AI stellt sicher, dass Sie die Anforderungen des AI Act der EU, aber auch die vielfältigen sonstigen rechtlichen Anforderungen an KI, von Anfang an einhalten und KI-Systeme rechtssicher genutzt werden können. Informieren Sie sich hier über rechtliche Themen rund um den Einsatz von KI.

Zurück zur Übersicht