EU AI Act: Das KI-Gesetz der Europäischen Union

Was als KI gilt

Die Definition von KI im AI Act lehnt sich an die international anerkannte KI-Definition der OECD an. Ein-KI-System nach dem AI Act ist „ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können.”

Ein KI-System nach EU-Recht zeichnet sich durch die Fähigkeit zu Schlussfolgerungen aus, d.h., es kann Vorhersagen und Entscheidungen treffen, die reale und virtuelle Umgebungen beeinflussen. Dies wird durch Techniken wie maschinelles Lernen und logikbasierte Ansätze ermöglicht. KI-Systeme variieren in ihrer Autonomie und können entweder unabhängig oder integriert in Produkte genutzt werden, wobei sie sich durch Nutzung selbstständig anpassen können. Die Definition von KI im AI Act ist recht breit gefasst, was dazu führt, dass eine große Anzahl von Systemen unter die Regulierung fallen kann. Allerdings ist in den Erwägungsgründen zur Erläuterung der Verordnungstexte der KI-Verordnung wie auch in der Anfang Februar 2025 veröffentlichten Guideline der EU-Kommission zur Definition eines KI-Systems klargestellt, dass die Definition solche KI-Systeme nicht erfasst, die mathematische Optimierung, einfache Datenverarbeitung, klassische Heuristik oder einfache Vorhersagen (z.B. basierend auf statistischen Berechnungsregeln) umfassen. Außerdem hat sie sieben Elemente eines KI-Systems herausgearbeitet, aber auch klargestellt, dass diese für die Qualifizierung als KI-System nach dem AI Act nicht alle während des gesamten Lebenszyklus eines KI-Systems vorliegen müssen.

Wen der EU AI Act betrifft

Der AI Act sieht vor, dass die Verordnung ausschließlich für Anwendungsfälle gilt, die in den Anwendungsbereich des EU-Rechts fallen. Zuständigkeiten von Mitgliedsstaaten oder Regierungsbehörden in Bezug auf die nationale Sicherheit sollen in keiner Weise beschnitten werden. Ausgenommen sind zudem KI-Systeme, die ausschließlich militärischen oder verteidigungspolitischen Zwecken dienen oder nur für Forschung und Innovation verwendet werden, auf Open-Source-Lizenzen basieren sowie die Nutzung für rein private Zwecke.

Die KI-Verordnung gilt für alle Anbieter von KI-Systemen, die auf dem europäischen Markt angeboten werden. Der Begriff Anbieter umfasst Personen oder Einrichtungen, die ein KI-System entwickeln und auf den Markt bringen. Auch Einführer, Händler und Betreiber unterliegen dessen Regulierung.

KI-Modelle mit allgemeinem Verwendungszweck (GPAI)

Wie bei „herkömmlichen" (fokussierten, auf einen bestimmten Zweck ausgerichteten) KI-Modellen werden im AI Act auch Basismodelle – die Engines hinter Generativer KI – anhand ihres Risikos eingestuft. Sie sind dank ihrer Flexibilität und ihrem Potenzial zur weitverbreiteten Nutzung als „KI mit allgemeinem Verwendungszweck “ (General Purpose AI, GPAI) benannt. 

Der AI Act sieht folgende Einstufung vor: Sie basiert nicht auf der Anwendung, sondern auf der Leistung und Reichweite des zugrunde liegenden Basismodells.  

• Level 1: KI-Modelle mit allgemeinem Verwendungszweck (GPAI): Alle Modelle müssen zusätzliche Transparenzpflichten erfüllen. Dazu gehören neben technischer Dokumentation und detaillierten Aufstellungen über die Verwendung urheberrechtlich geschützter Trainingsdaten auch die oben genannten Anforderungen zur Kennzeichnung von Inhalten, die mithilfe von KI generiert wurden. 
• Level 2: GPAI mit erheblichen Auswirkungen: Für „sehr leistungsstarke“ KI-Modelle, die systemische Risiken bergen können, gelten zusätzliche Pflichten, beispielsweise in Bezug auf die Überwachung schwerwiegender Vorfälle, die Modellbewertung und die Durchführung von Angriffstests. 

Die quantitative, nicht subjektive Unterscheidung zwischen GPAI-Modellen und GPAI-Modellen mit systemischem Risiko erfolgt anhand der Rechenleistung, die zum Trainieren des zugrunde liegenden Basismodells benötigt wird. Diese wird in Gleitkommaoperationen pro Sekunde (Floating Point Operations Per Second, FLOPs) gemessen. Der Schwellenwert für GPAI-Modelle mit systemischem Risiko liegt bei 10^25 FLOP. 

Um diese neuen Anforderungen in der Praxis zu erfüllen, werden Experten aus Industrie, Wissenschaft und Zivilgesellschaft sowie andere relevante Interessengruppen in Zusammenarbeit mit der Kommission Verhaltenskodizes – und letztendlich harmonisierte EU-weite Normen – entwickeln.

KI-Systeme (Anwendungsfälle-orientiert)

Bei der Einstufung von KI-Systemen verfolgt der AI Act einen risikobasierten Ansatz. Es werden also nicht alle KI-Systeme gleichbehandelt. Zunächst wird zwischen „herkömmlichen“ KI-Systemen und „KI mit allgemeinem Verwendungszweck “ (General Purpose AI, GPAI) unterschieden. Letztere ist eine relativ neue Entwicklung seit dem Aufkommen generativer KI-Systeme und wird als eigenständiges Thema behandelt (siehe unten). 

Das Risiko bei sog. Single-Purpose AI  (KI mit spezifischem Verwendungszweck) wird nicht anhand ihrer Technologie, sondern anhand ihres Anwendungsfalls bewertet. Die Risikokategorien reichen von „unannehmbar“ über „hoch“ bis zu „begrenzt oder minimal“. Systeme mit unannehmbarem Risiko sind verboten, während solche mit minimalem Risiko nicht der Regulierung durch den AI Act unterliegen.

Verbotene KI-Systeme

KI-Systeme, die ein unannehmbares Risiko darstellen, werden innerhalb von nur sechs Monaten nach der offiziellen Verabschiedung der KI-Verordnung vollständig verboten. Der AI Act listet folgende Anwendungen auf: 

• Systeme zur biometrischen Kategorisierung, die auf sensiblen Merkmalen wie politischer Meinung, religiöser oder philosophischer Weltanschauung, sexueller Ausrichtung oder ethnischer Herkunft basieren
• Sogenannte biometrische Echtzeit-Fernidentifizierungssysteme sind dagegen erlaubt. Sie werden als hochriskant eingestuft und unterliegen strengen Vorgaben: 
  • Zeitliche und örtliche Einschränkungen
  • Für die gezielte Suche nach Opfern (z. B. in Fällen von Entführung oder Menschenhandel)
  • Zur Abwendung der konkreten und unmittelbaren Gefahr eines Terroranschlags
  • Zum Aufspüren oder Identifizieren eines Täters oder Verdächtigen einer schweren Straftat im Sinne der Verordnung
• Ungezielte Erfassung von Gesichtsbildern aus dem Internet oder von Überwachungskameras zur Erstellung einer Datenbank zur Gesichtserkennung
• Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen 
• Social-Scoring-Systeme, die Personen anhand ihres Sozialverhaltens oder ihrer persönlichen Merkmale bewerten
  
• Systeme, die das Verhalten von Personen manipulieren und deren freien Willen beeinträchtigen
• Anwendungen, die Schwächen bestimmter Personengruppen – insbesondere aufgrund von Alter, Behinderung oder sozioökonomischem Status – ausnutzen 

Auch hierzu hat die EU-Kommission Anfang Februar 2025 mit einer Guideline hinsichtlich der verbotenen Praktiken eine Orientierungshilfe geliefert. Diese liefert eine Vielzahl an Beispielen für alle nach dem AI Act verbotenen Praktiken und grenzt diese zu hochriskanten Anwendungsfällen ab, stellt aber gleichzeitig klar, dass der Grad der Unterscheidung zwischen verbotenen und hochriskanten Anwendungsfällen ein sehr schmaler sein kann. Daher ist eine genaue Betrachtung im Einzelfall unerlässlich. 

Hochrisiko-KI-Systeme – der Schwerpunkt der Regulierung

Der Schwerpunkt der Verordnung liegt also eindeutig auf Hochrisiko-KI-Systemen, für die eine Vielzahl an Compliance-Vorschriften gelten. Anbieter solcher Systeme sind etwa verpflichtet, ein Qualitätsmanagement- sowie ein Risikomanagementsystem einzuführen und die Anforderungen in puncto Datenqualität und -integrität zu erfüllen. Außerdem müssen sie eine Konformitätsbewertung durchführen und anschließend eine  Konformitätserklärung ausstellen. Hochrisiko-KI-Systeme werden in zwei Kategorien eingeteilt:

• Systeme für Produkte, die den EU-Sicherheitsvorschriften unterliegen, – wie z.B. Maschinen, Spielzeug, Luftfahrt- und Fahrzeugtechnik, medizinische Geräte und Aufzüge – müssen einer Konformitätsbewertung durch Dritte unterzogen werden. 
• Anbieter von Systemen aus den in Anhang III genannten Bereichen führen die Konformitätsbewertung selbst durch. Dazu gehören kritische Infrastrukturen, Bildung, Beschäftigung, grundlegende private und öffentliche Dienstleistungen (einschließlich Finanzdienstleistungen), Strafverfolgung, Migration/Asyl/Grenzkontrolle sowie demokratische Prozesse (Wahlen). Für die Verwendung von Systemen zur biometrischen Fernidentifizierung (Remote Biometric Identification, RBI), zum Beispiel zur Bekämpfung bestimmter Straftaten, wurden allerdings besondere Regelungen getroffen. 

Bevor Hochrisiko-KI-Systeme etwa in den Bereichen Öffentliche Hand, Banken oder Versicherung auf den Markt gebracht werden, muss zusätzlich eine Folgenabschätzung im Hinblick auf die Grundrechte (Fundamental Rights Impact Assessment) durchgeführt werden.

Die Bürger:innen sind berechtigt, bei den nationalen Behörden Beschwerden über KI-Systeme und algorithmische Entscheidungen einzureichen, die Auswirkungen auf ihre Rechte haben. 

Der Rest

Es gibt Arten von KI-Systemen, die ein begrenztes oder minimales Risiko darstellen und auf die daher weniger bis gar keine Pflichten der KI-Verordnung zutreffen:  

Administrative oder interne KI-Systeme wie Spamfilter oder Predictive-Maintenance-Systeme liegen außerhalb des Anwendungsbereichs der Verordnung und werden daher unter die Kategorie „minimales Risiko“ gefasst.  Für diese KI-Systeme sieht die KI-Verordnung keine expliziten Pflichten vor. Unternehmen können jedoch auf freiwilliger Basis Verhaltenskodizes für diese KI-Systeme einhalten. 

Dennoch gelten für KI-Systeme aller Risikoeinstufungen, die mit Personen interagieren, wie Chatbots oder Empfehlungssysteme. Für sie gelten bestimmte Transparenzpflichten. Von einem KI-System generierte Inhalte wie Unterhaltungen (Chatbots), Deepfakes oder biometrische Kategorisierungen müssen gekennzeichnet werden. Diese Pflichten gehen mit der Einordnung in die Klasse „begrenztes Risiko“ einher. 

Konformität

Zur Ausstellung einer Konformitätserklärung müssen Anbieter von Hochrisiko-KI-Systemen die Einhaltung der Verordnung vor der Markteinführung und über den gesamten Lebenszyklus eines KI-Systems hinweg nachweisen:

• Qualitätsmanagementsystem (QMS) – Gewährleistung einer angemessenen Governance in Bezug auf Datenqualität, technische Dokumentation, Aufzeichnungspflichten, Risikomanagement, menschliche Aufsicht, und Modellvalidierung unter Berücksichtigung der Grundsätze der vertrauenswürdigen KI, insbesondere Transparenz, Robustheit, Genauigkeit und Cybersicherheit.
• Risikomanagement-System - Vorwegnahme möglicher AI-Risiken, sei es allgemein oder bezogen auf jeden Anwendungsfall, Gestaltung von Kontrollen und Erstellung von Notfallplänen sowie die Festlegung von Verantwortlichkeiten für die Behebung von Problemen, sollten sie auftreten.
• Lifecycle Management – Im Rahmen des QMS sind Anbieter nicht nur vor dem Inverkehrbringen, sondern während des gesamten Lebenszyklus des KI-Systems dazu verpflichtet, Risiken zu minimieren und zu verwalten. Dazu gehört auch die Registrierung des Hochrisiko-KI-Systems in der EU-Datenbank und die Protokollierung von Vorfällen über den gesamten Lebenszyklus hinweg.  

Details sind bei unserem dedizierten Artikel zu KI-Governance zu finden.

Durchsetzung

Der Gesetzgeber setzt im Allgemeinen voraus, dass sich Anbieter  selbst kontrollieren, indem sie je nach Art des Hochrisiko-KI-Systems selbst eine Konformitätsbewertung vornehmen oder autorisierte Dritte damit beauftragen. Die KI-Verordnung sieht eine Verwaltungsstruktur mit mehreren zentralen Regierungsbehörden vor, die jeweils mit unterschiedlichen Aufgaben in Bezug auf die Umsetzung und Durchsetzung des Gesetzes betraut sind.

Auf EU-Ebene

Das EU AI Office, eine neue Behörde innerhalb der Europäischen Kommission, koordiniert die Umsetzung des Gesetzes in allen EU-Mitgliedsstaaten. Zudem erfolgt die Aufsicht über GPAI mit erheblichen Auswirkungen durch das AI Office.

Ein an das AI Office angebundener Ausschuss, das KI-Gremium, bestehend aus Interessenvertretern aus Wirtschaft und Zivilgesellschaft, gibt Feedback und stellt sicher, dass während des Umsetzungsprozesses ein breites Meinungsspektrum vertreten ist. 

Darüber hinaus soll das Wissenschaftliche Gremium, ein Beratungsforum aus unabhängigen Experten, systemische Risiken von KI erkennen, Leitlinien für die Modellklassifizierung bereitstellen und gewährleisten, dass die Regeln und Umsetzung des Gesetzes den neuesten wissenschaftlichen Erkenntnissen entsprechen.

Auf nationaler Ebene

Die EU-Mitgliedsstaaten müssen zuständige nationale Behörden einrichten oder bestimmen, die für die Durchsetzung des Gesetzes verantwortlich sind, sog. Marktüberwachungsbehörden. Außerdem sollen sie sicherstellen, dass sämtliche KI-Systeme den geltenden Normen und Vorschriften entsprechen. Zu ihren Aufgaben gehören:  

• Überprüfung der ordnungsgemäßen und rechtzeitigen Durchführung von Konformitätsbewertungen,
• Ernennung der „notifizierten Stellen“ (externen Auditoren), die zur Durchführung externer Konformitätsbewertungen berechtigt sind,
• Abstimmung mit anderen Aufsichtsbehörden auf nationaler Ebene (z. B. für Banken, Versicherungen, Gesundheitswesen, Automobilindustrie usw.) sowie mit dem AI Office auf EU-Ebene.

In Deutschland sollen sich die Aufgabe der KI-Aufsicht nach aktuellem Referentenentwurf zur Durchführung des AI Acts die Bundesnetzagentur (für alle weiteren Branchen) und die BaFin (für den Finanzsektor) teilen.

Sanktionen für Verstöße

KI-Systeme werden nach ihrem Risiko eingestuft. Analog dazu richten sich auch die im EU AI Act vorgesehenen Sanktionen nach der Schwere des Verstoßes: 

• Verstöße in Bezug auf verbotene KI-Systeme (Artikel 5) können Anbieter bis zu 35 Mio. EUR oder 7 Prozent ihres weltweiten Jahresumsatzes im Vorjahr kosten, je nachdem, welcher Betrag höher ist. 
• Für Verstöße diverser anderer Vorschriften (z. B. gegen Artikel 10 oder 13) können Geldbußen von bis zu 15 Mio. EUR oder 3 Prozent des Jahresumsatzes verhängt werden.
• Fehlerhafte Meldungen können mit bis zu 7,5 Mio. EUR oder 1 Prozent des Jahresumsatzes geahndet werden, je nachdem, welcher Betrag höher ist. 
• Neben diesen monetären Strafen können die nationalen Aufsichtsbehörden die Anbieter zwingen, nicht konforme KI-Systeme vom Markt zu nehmen oder die Leistungserbringung verbieten. 

Die KI-Verordnung sieht moderatere Geldbußen für KMUs und Start-ups vor.

Zwar finden die Vorschriften zu den Sanktionen erst ab August 2025 Anwendung, jedoch haben die Vorschriften über Verbote, die seit dem 02. Februar 2025 gelten, unmittelbare Wirkung, sodass Betroffene diese ggf. vor den nationalen Gerichten durchsetzen und einstweilige Verfügungen erwirken könnten.

Zeitplan der Verordnung

Der AI Act ist am 01. August 2024 in Kraft getreten und hat gestaffelte Umsetzungsfristen. Fast vollständig ist der AI Act am 02. August 2026 anwendbar. Einige Bestimmungen gelten jedoch bereits früher, wobei Hochrisiko-KI-Systeme gemäß Annex II einer dreijährigen Übergangsfrist folgen: 

• 02. Februar 2025: KI-Systeme mit unannehmbarem Risiko sind verboten. 
• 02. August 2025: Die Vorschriften für KI mit allgemeinem Verwendungszweck und Sanktionen gelten. 
• 02. August 2026: Die restlichen Bestimmungen rund um Hochrisiko-KI-Systeme (Annex III), Transparenzvorschriften sowie KI-Reallabore gelten. 
• 02. August 2027: Regeln für GPAI, die bereits vor Inkrafttreten der Verordnung auf dem Markt war

KI-Systeme nutzen – aber sicher

Auch wenn noch nicht alle technischen Details geklärt sind, vermittelt der AI Act einen hinreichenden Eindruck vom Umfang und Ziel der künftigen Verordnung. Unternehmen werden viele interne Prozesse anpassen und Risikomanagementsysteme stärken müssen. Das europäische Normungsgremium CEN-CENELEC wird die Grundsätze der KI-Verordnung in technische Normen und Standards übersetzen, um die Prüfung und Zertifizierung von KI-Systemen zu erleichtern und die EU-Kommission veröffentlicht Leitlinien als Orientierungshilfe zur Anwendung des AI Acts. Allerdings kann auf im Unternehmen bestehenden Prozessen aufgebaut werden und aus Maßnahmen von vorherigen Gesetzen wie der DSGVO gelernt werden. Wir empfehlen Unternehmen, die Umsetzung innerhalb ihrer Organisation voranzutreiben und ihre Mitarbeitenden für das neue Gesetz zu sensibilisieren, eine Bestandsaufnahme ihrer KI-Systeme zu veranlassen, angemessene Governance-Maßnahmen sicherzustellen und als hochriskant eingestufte KI-Systeme akribisch zu überprüfen.  

Wir von Deloitte stehen unseren Kunden hierbei zur Seite: Wir unterstützen Sie dabei, die Komplexität und den Umfang der KI-Verordnung zu meistern und sich auf die künftig geltenden Anforderungen vorzubereiten. Profitieren Sie von der Vordenkerrolle von Deloitte im Bereich der vertrauenswürdigen KI, unserer umfassenden Expertise bei der Entwicklung von KI-Systemen und unserer langjährigen Erfahrung als Wirtschaftsprüfungsunternehmen. Unsere Services orientieren sich an den sechs Lebenszyklus-Phasen von KI-Systemen, die auch in der KI-Verordnung beschrieben sind und der allgemeinen Praxis entsprechen.

Vordenkerrolle im Bereich KI

Deloitte verfügt über umfassende Expertise in Bezug auf die Umsetzung KI-basierter Lösungen sowie die sorgfältige Entwicklung dedizierter Audit-Tools und Monitoring-Methoden zur Bewertung von KI-Modellen gemäß den Grundsätzen vertrauenswürdiger KI. Unser Ruf als kompetentes Beratungsunternehmen basiert insbesondere auf unseren anspruchsvollen Qualitätsstandards. Um die Konformität Ihrer Systeme zu bewerten, reicht das Ausfüllen eines Fragebogens bei Weitem nicht aus. Deloitte führt eine eingehende quantitative Analyse durch und testet Ihre KI-Modelle auf Herz und Nieren, um Logikfehler, methodische Inkonsistenzen, Implementierungsprobleme, Datenrisiken und sonstige Schwachpunkte zu ermitteln. Wir sind der Überzeugung, dass nur eine derart gründliche Vorgehensweise den Anforderungen unserer Kunden gerecht wird. Dies bedeutet jedoch nicht, dass das Rad bei jeder Analyse neu erfunden werden muss. Im Sinne der Effizienz hat Deloitte in die Entwicklung dedizierter Tools investiert, um die zahlreichen Schritte des Validierungsprozesses zu optimieren. Eine Reihe von Whitepapers (Download siehe unten) erklärt warum die Qualitätssicherung sowie Governance-Maschinerie von kritischer Bedeutung ist, um unser Vertrauen in die KI-Modelle und Systeme zu stärken, die entscheidend unsere Gegenwart und Zukunft prägen.