Ist die Zukunft schon da? Überblick über den EU-Verordnungsentwurf zur künstlichen Intelligenz

Am 21. April 2021 hat die EU-Kommission einen Vorschlag für eine Verordnung über künstliche Intelligenz (Entwurf der KI-Verordnung, Verordnungsvorschlag) veröffentlicht.^[1] Als Teil der "Europäischen Strategie für Daten"^[2] soll der Entwurf der KI-Verordnung einen Goldstandard für die Regulierung von KI in der Union setzen.[Während die vorgeschlagene Verordnung derzeit noch diskutiert wird und mehrere tausend Änderungsvorschläge vorliegen, wird sie voraussichtlich im Herbst 2022 verabschiedet werden.^[4] Nach ihrer Verabschiedung wird die KI-Verordnung zwanzig Tage nach ihrer Veröffentlichung in Kraft treten und allen Organisationen, die KI-Systeme in der EU bereitstellen oder nutzen, eine 24-monatige Übergangsfrist zur Umsetzung der entsprechenden Maßnahmen und Verpflichtungen einräumen.

Dieser Artikel gibt einen Überblick über den Entwurf der KI-Verordnung und ihre Auswirkungen auf Organisationen in aller Welt.

Umfang der Anwendung

Der Entwurf der KI-Verordnung hat eine extraterritoriale Reichweite wie die GDPR und gilt für (Art. 2):

• Anbieter, die in der EU vermarkten oder KI-Systeme in der EU in Betrieb nehmen;
• Nutzer von KI-Systemen in der EU; und
• Anbieter und Nutzer von KI-Systemen, deren Ergebnisse in der EU verwendet werden.

Der Entwurf der KI-Verordnung definiert den Begriff "Anbieter" als eine Person, die ein KI-System entwickelt oder entwickeln lässt, um es unter ihrem eigenen Namen oder ihrer eigenen Marke auf den Markt zu bringen oder in Betrieb zu nehmen (Art. 3). Es ist zu beachten, dass jeder Händler, Importeur, Nutzer oder sonstige Dritte als Anbieter gilt, wenn er (Art. 28):

1. ein KI-System unter seinem eigenen Namen oder seiner eigenen Marke auf den Markt bringt;
2. den Verwendungszweck eines bestehenden KI-Systems abändert; oder
3. wesentliche Änderungen an dem KI-System vornimmt.

Der Begriff "Nutzer" wird definiert als eine Person, die ein KI-System unter ihrer Aufsicht nutzt, es sei denn, das KI-System wird im Rahmen einer persönlichen, nicht beruflichen Tätigkeit verwendet (Art. 3).

Der Entwurf der KI-Verordnung sieht einen horizontalen Rechtsrahmen vor:^[5] Bestehende Verordnungen, Gesetze, Standards, Normen usw. für Technologien gelten in den meisten Fällen für bestimmte Branchen und betreffen nicht die Umsetzung dieser Technologien durch Hard- und Software-Systeme. Mit der vorgeschlagenen Verordnung wird versucht, KI horizontal und damit unabhängig von den Anwendungsfällen zu regulieren^[6].

Definition von KI

Die vorgeschlagene Verordnung enthält keine Definition von KI. Stattdessen enthält sie eine Definition von KI-Systemen (Art. 3):

"[K]ünstliche Intelligenzsysteme" (KI-Systeme) sind Software, die mit einer oder mehreren der in Anhang I aufgeführten Techniken und Ansätze entwickelt wurde und für eine gegebene Reihe von durch den Menschen definierten Zielen Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen erzeugen kann, die die Umgebungen beeinflussen, mit denen sie interagieren.

Die Liste der Techniken und Ansätze in Anhang I umfasst maschinelle Lernansätze, logische und wissensbasierte Ansätze sowie statistische Ansätze.

Die zu weit gefasste Definition von KI-Systemen im Entwurf der KI-Verordnung wurde von verschiedenen Interessengruppen kritisiert. Während noch abzuwarten ist, wie die endgültige Fassung des Entwurfs der KI-Verordnung aussehen wird, haben einige Staaten eine engere Definition von künstlicher Intelligenz vorgeschlagen, die zwei zusätzliche Anforderungen enthält: dass das System in der Lage ist, "mit den Techniken und Ansätzen zu lernen, zu schlussfolgern oder zu modellieren", und dass es außerdem ein "generatives System" ist, das seine Umgebung direkt beeinflusst.^[7]

Arten von KI-Systemen und einschlägige Compliance-Anforderungen

Der Entwurf der KI-Verordnung unterteilt KI-Systeme in vier Kategorien: KI-Systeme mit inakzeptablem Risiko, KI-Systeme mit hohem Risiko, KI-Systeme mit Transparenzpflichten und KI-Systeme mit minimalem Risiko.

KI-Systeme mit nicht akzeptablem Risiko (Art. 5): Als inakzeptable Risikosysteme gelten beispielsweise KI-Praktiken, die gegen die Werte der EU verstoßen und eine klare Bedrohung für die Sicherheit, den Lebensunterhalt und die Grundrechte der Menschen darstellen. Solche Systeme sind nach dem Entwurf der KI-Verordnung nicht zulässig.

Hochriskante KI-Systeme (Art. 6): Die folgenden Kategorien von KI-Systemen fallen unter diese Kategorie:

1. Biometrische Identifikationssysteme;
2. Kritische Infrastrukturen, die das Leben und die Gesundheit der Bürger gefährden könnten;
3. Bildungs- oder Berufsbildungssysteme, die den Zugang zur Bildung und den beruflichen Werdegang einer Person bestimmen können;
4. Sicherheitskomponenten von Produkten;
5. Beschäftigung, Management von Arbeitnehmern und Zugang zur Selbstständigkeit;
6. Wesentliche private und öffentliche Dienstleistungen;
7. Strafverfolgung, Justizverwaltung und demokratische Prozesse;
8. Migrations-, Asyl- und Grenzkontrollmanagement.

Anbieter von AI-Systemen mit hohem Risiko unterliegen den folgenden materiellen Verpflichtungen:

1. Schaffung und Umsetzung eines angemessenen Risikomanagement- und Risikominderungssystems (Art. 9);
2. Sorgfältige Verwaltung von Daten und Data Governance, einschließlich Schulung und Testen von KI-Systemen mit hohem Risiko, die Daten verwenden (Art. 10);
3. Erstellung und Bereitstellung einer technischen Dokumentation für die Nutzer (Art. 11);
4. Detaillierte Aufzeichnungen für die Behörden bereitstellen (Art. 12, 20);
5. Benutzer mit klaren und angemessenen Informationen versorgen (Art. 13);
6. ein angemessenes Maß an menschlicher Aufsicht bereitstellen (Art. 14);
7. für Genauigkeit, Robustheit und Cybersicherheit sorgen (Art. 15);
8. Einrichtung eines angemessenen Qualitätsmanagementsystems (Art. 17);
9. Durchführung einer Überwachung der Leistung von KI-Systemen mit hohem Risiko nach dem Inverkehrbringen (Artikel 61).

Die Anbieter von Hochrisiko-KI-Systemen müssen außerdem die folgenden verfahrenstechnischen Verpflichtungen einhalten:

1. Die Anbieter sollten sicherstellen, dass ihre Hochrisiko-KI-Systeme die sogenannte "Konformitätsbewertung" durchlaufen, bevor sie auf dem Markt angeboten oder in Betrieb genommen werden können (Art. 19). Die Konformität der biometrischen Identifizierungssysteme ist von der zuständigen "benannten Stelle" durchzuführen (Anhang VII). Für alle anderen Arten von AI-Systemen mit hohem Risiko können die Anbieter eine Selbstbewertung vornehmen (Anhang VI);
2. Sobald das Hochrisiko-AI-System die Konformitätsbewertung durchlaufen hat, sollten die Anbieter die schriftliche Konformitätserklärung ausstellen (Artikel 48), eine CE-Kennzeichnung der Konformität an den Unterlagen des Hochrisiko-AI-Systems anbringen (Artikel 49) und das Hochrisiko-AI-System in der EU-Datenbank registrieren (Artikel 51);
3. Die Anbieter sollten der zuständigen Behörde innerhalb von 15 Tagen einen "schwerwiegenden Vorfall" oder eine "Funktionsstörung" des Hochrisiko-AI-Systems melden (Art. 62).

Im Gegensatz zu den Anbietern unterliegen die Nutzer von KI-Systemen mit hohem Risiko begrenzten Anforderungen. So müssen sie sicherstellen, dass sie die risikoreichen KI-Systeme in Übereinstimmung mit den Gebrauchsanweisungen verwenden, den Betrieb der risikoreichen KI-Systeme überwachen und die von den risikoreichen KI-Systemen erzeugten Protokolle aufbewahren (Art. 29).

KI-Systeme mit Transparenzpflichten (Art. 52): Chatbots oder Imitatoren-Bots fallen in diese Kategorie. Die Anbieter solcher Systeme müssen sicherstellen, dass sie so konzipiert und entwickelt werden, dass natürliche Personen darüber informiert werden, dass sie mit einem KI-System interagieren.

KI-Systeme mit minimalem Risiko (Art. 69): KI-gestützte Videospiele oder Spam-Filter fallen unter diese Kategorie. Für solche KI-Systeme gibt es keine Compliance-Anforderungen. Die große Mehrheit der derzeit in der EU verwendeten KI-Systeme kann als KI-Systeme mit minimalem Risiko definiert werden.

Sanktionen

Verstöße gegen die Verpflichtungen aus dem Entwurf der KI-Verordnung führen zu Geldbußen, deren Höhe sich nach der Art des Verstoßes richtet (Artikel 71).

Gegen den Zuwiderhandelnden (Anbieter und/oder ggf. Nutzer) werden für die folgenden zwei Arten von Verstößen Geldbußen in Höhe von bis zu 30.000.000 EUR oder, wenn es sich bei dem Zuwiderhandelnden um ein Unternehmen handelt, in Höhe von bis zu 6 % seines gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres verhängt, je nachdem, welcher Betrag höher ist:

• das Inverkehrbringen, die Inbetriebnahme oder die Anwendung von AI-Praktiken mit unannehmbaren Risiken (Artikel 5);
• die Nichteinhaltung der Data-Governance-Anforderungen des AI-Systems für hohe Risiken (Artikel 10 Absatz 4).

Bei Nichteinhaltung anderer als der genannten Anforderungen und Verpflichtungen werden gegen den Zuwiderhandelnden Geldbußen von bis zu 20 000 000 EUR oder, wenn es sich bei dem Zuwiderhandelnden um ein Unternehmen handelt, von bis zu 4 % seines gesamten weltweiten Jahresumsatzes im vorangegangenen Geschäftsjahr verhängt, je nachdem, welcher Betrag höher ist.

Der Entwurf der AI-Verordnung sieht auch Sanktionen für das Versäumnis vor, den benannten Stellen und den zuständigen nationalen Behörden auf deren Aufforderung hin korrekte, vollständige oder genaue Informationen zu übermitteln. Ist dies der Fall, so werden die Zuwiderhandelnden mit Geldbußen in Höhe von bis zu 10 000 000 EUR oder, wenn es sich bei dem Zuwiderhandelnden um ein Unternehmen handelt, in Höhe von bis zu 2 % seines gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres belegt, je nachdem, welcher Betrag höher ist.

Auswirkungen für Unternehmen

Der Entwurf der KI-Verordnung legt die Messlatte für die Compliance-Verpflichtungen der Industrie im Bereich der KI in allen Wirtschaftssektoren hoch. Eine von McKinsey durchgeführte globale Umfrage zeigt, dass viele Unternehmen bei der Erfüllung der potenziellen Compliance-Anforderungen der kommenden Verordnung weit im Rückstand sind, da nur 38 Prozent von ihnen sich aktiv mit Compliance-Risiken im Bereich der KI befassen.^[8] In dieser Hinsicht sollten sich die betroffenen Unternehmen auf die mit Sicherheit folgenden Vorschriften vorbereiten und ein strategisches Compliance-Programm für ihre KI-Systeme einführen. Dies erfordert die notwendigen Fähigkeiten und Ressourcen, was zu einer verstärkten Rolle der Compliance-Experten führen wird. Von den Unternehmen kann erwartet werden, dass sie ihre Compliance-Teams erweitern und mehr Fachleute mit diesem speziellen Hintergrund einstellen. Auch der Bedarf an externen Rechtsberatern wird steigen.