EU AI Act – Wer füllt ihn mit Leben?

Der Entwurf des EU AI Acts (deutsch: KI-Verordnung) wird derzeit in einem Trilog zwischen dem EU-Parlament, dem Rat und der Kommission verhandelt. Nach derzeitiger Ausgestaltung verpflichtet die neue Verordnung Betreiber von KI-Anwendungen mit hohem Risiko unter anderem dazu, ein Risikomanagementsystem für den gesamten Lebenszyklus der KI-Anwendung zu installieren, Qualitätsanforderungen für Test- und Trainingsdaten zu erfüllen, Dokumentation und Aufzeichnungen sicherzustellen und Transparenz gegenüber den Nutzern zu gewährleisten. Doch wer entscheidet eigentlich darüber, wie und wann diese Anforderungen erfüllt werden? Anders ausgedrückt: Wer füllt den AI Act mit Leben?

Wie entstehen die Standards des EU AI Acts?

Die Verordnung gilt größtenteils nur für Systeme mit hohem Risiko, insbesondere solche, die ein hohes Gesundheitsrisiko oder Grundrechtsrisiko darstellen. Anbieter von Hochrisikosystemen müssen sicherstellen, dass ihre Systeme alle Anforderungen des AI Acts erfüllen (Konformitätsbewertung, Art. 19). 

Hierfür stehen zwei Verfahren zur Verfügung (Art. 43): eine rein interne Bestimmung (Anhang VI) oder die Einbeziehung einer Konformitätsbewertungsstelle (Anhang VII). Die Kommission kann zusätzlich Durchführungsakte erlassen, die die Anforderungen für Hochrisikosysteme gemäß Kapitel 2 festlegen.

Technische Standards 

Für interne Konformitätsbewertungen können harmonisierte technische Standards verwendet werden. Wenn eine erfolgreiche Bewertung gegen einen solchen Standard erfolgt, gilt das System als konform. Diese Standards sind die Umsetzung des Gesetzestextes in konkrete, praktische Schritte. Die praktische Umsetzung des EU-KI-Gesetzes wird weitgehend von diesen technischen Standards abhängen. Denn sich auf bestehende technische Standards zu stützen, wird für viele Unternehmen der einfachste Weg sein. Andernfalls müssten sie die Konformität des Systems mit eigenen technischen Mitteln nachweisen. Letzteres wäre nicht nur technisch komplexer und damit teurer, sondern auch rechtlich unsicherer. 

In der EU werden technische Standards vom Europäischen Komitee für Normung (CEN) und dem Europäischen Komitee für elektrotechnische Normung (CENELEC) entwickelt. Sie sind sozusagen das europäische Pendant zur DIN. CEN und CENELEC haben bereits Anfang 2021 ein technisches Komitee für KI gegründet. Die Nutzerperspektive ist hier über ANEC vertreten.

Die Konformitätsbewertungsstellen

KI-Systeme können auch von sogenannten notifizierten Konformitätsbewertungsstellen (kurz: notifizierte Stellen) bewertet werden. Das Verfahren hierfür ist in Anhang VII geregelt. Die benannten Stellen entscheiden auf Grundlage der technischen Dokumentation, ob das geprüfte System den Anforderungen des AI Acts entspricht. 

Wer kann als notifizierte Stelle Konformität bewerten? 

Die notifizierten Stellen müssen nicht zwangsläufig staatliche Stellen sein. Auch Unternehmen können diese Aufgabe übernehmen. Allerdings nur, wenn sie die Anforderungen gemäß Art. 33 hinsichtlich organisatorischer Struktur, Unabhängigkeit, Fachkenntnisse und vieles mehr erfüllen. Dazu müssen sie von einer nationalen Behörde inspiziert und offiziell als notifizierte Konformitätsbewertungsstelle ernannt werden. Die für eine solche Benennung zuständige Behörde muss wiederum unabhängig von den von ihr ernannten notifizierten Stellen agieren (Art. 30 Abs. 3). 

Welchen Handlungsspielraum haben diese notifizierenden Behörden? 

Die für die Benennung der einzelnen notifizierten Konformitätsbewertungsstellen zuständige nationale Behörde sollte normalerweise auch als nationale Marktüberwachungsbehörde fungieren. Dabei verfügt sie über weitreichende Befugnisse. Sie kann sämtliche Schulungs- und Testdaten abrufen und auch Zugang zum Quellcode eines KI-Systems verlangen, wenn dafür vernünftige Gründe vorliegen. Dies gilt auch für Behörden und Stellen, die die Einhaltung der Vorschriften in Bezug auf Grundrechte überprüfen. Eine solche Marktüberwachungsbehörde kann bei Verstößen gegen die Verordnung erhebliche Geldstrafen von bis zu 6% des weltweiten Jahresumsatzes eines Unternehmens verhängen. 

Wie funktioniert die Zusammenarbeit zwischen den einzelnen notifizierten Konformitätsbewertungsstellen?

Die notifizierten Konformitätsbewertungsstellen sollten Informationen austauschen und sich untereinander abstimmen. Zu diesem Zweck koordiniert die EU-Kommission Gruppen, in denen notifizierte Stellen, die ähnliche Technologien testen (z. B. Textverarbeitung, Auswertungssysteme, Spracherkennung usw.), Informationen austauschen. Insbesondere negative Entscheidungen zur Konformität bestimmter Systeme müssen allen notifizierten Stellen in der EU mitgeteilt werden. Dies soll zur Einheitlichkeit der Konformitätsbewertungen in der EU beitragen.

Nationale Umsetzung 

Es ist noch nicht genau absehbar, wie die Umsetzung des EU AI Acts auf nationaler Ebene aussehen wird. In einer Antwort auf eine parlamentarische Frage antwortete die Bundesregierung am 02.09.2022, dass die Umsetzung der Verordnung erst erfolgen könne, wenn die endgültige Fassung verkündet werde. Aus derselben Antwort geht jedoch an anderer Stelle hervor, dass die Bundesregierung keine bedeutende Beteiligung der Länder oder Kommunen plant. Die CDU/CSU-Bundestagsfraktion scheint ihrerseits eine besondere Rolle für die Bundesnetzagentur zu erwarten. Als Fachbehörde für digitale Angelegenheiten könnte sie hier eine führende Rolle spielen.

Fazit 

Die Frage, wer die Standards für zukünftige Hochrisikosysteme festlegt, kann in vier Antworten unterteilt werden. Den Grundstein legen zunächst die Legislative der Europäischen Union und schließlich das Europäische Parlament. Diese bestimmen, welche Systeme überhaupt als Hochrisikosysteme eingestuft werden sollen. 

Auf der zweiten Ebene konkretisiert die Kommission die Anforderungen an KI-Systeme mithilfe von Durchführungsakten. Dies kann den Handlungsspielraum der entscheidenden Behörden und notifizierten Stellen teilweise erheblich einschränken. 

Die dritte Ebene bilden die technischen Standards, nach denen die internen Konformitätsbewertungen durchgeführt werden. Diese “Übersetzungshandlungen” der rechtlichen Vorschriften in technische Anweisungen werden von CEN und CENELEC erlassen. 

Die vierte Ebene ist das Zusammenspiel zwischen der benennenden Behörde und den benannten Stellen. Letztere treffen die ursprüngliche Entscheidung darüber, ob ein System den Anforderungen der Verordnung entspricht. Gleichzeitig werden diese Stellen von der notifizierenden Behörde ernannt und zunächst auf ihre Unabhängigkeit und Eignung geprüft.

Das im aktuellen Entwurf des EU-KI-Gesetzes vorgesehene Überwachungs- und Zertifizierungssystem erinnert an das Konzept der Prüfung. Auch hierbei handelt es sich um auf Gewinn ausgerichtete Unternehmen, die unter privatem Recht organisiert sind und die Konformität des geprüften Unternehmens mit den gesetzlichen Anforderungen bescheinigen. Diese “private” Überwachung wird unter anderem für den Wirecard-Skandal verantwortlich gemacht. Um die Auswirkungen von Gewinninteressen von Prüfungsfirmen zu minimieren, wird unter anderem die Trennung von Beratung und Prüfung gefordert. Darüber hinaus müssen Unternehmen alle 10 Jahre die Prüfungsfirma wechseln. Solche Vorschriften fehlen im EU AI Act. Hier bleibt das Risiko wirtschaftlicher Abhängigkeit oder zumindest Einflussnahme auf Entscheidungen aus wirtschaftlichen Gründen bestehen.

Quellen

Bundestagsdrucksache 20/3284 (bundestag.de)

Bundestagsdrucksache 20/2984 (bundestag.de)

Storbeck, Olaf, EY and Wirecard: anatomy of a flawed audit in Financial Times (ft.com)  (letzter Abruf: 26.09.2023)