Das Ziel des AI Acts besteht darin, die Funktionsweise des europäischen Binnenmarktes zu verbessern und die Einführung von menschenzentrierter und vertrauenswürdiger künstlicher Intelligenz (KI) zu fördern, während gleichzeitig ein hohes Schutzniveau für Gesundheit, Sicherheit und die in der Charta der Grundrechte verankerten Grundrechte – einschließlich Demokratie, Rechtsstaatlichkeit und Umweltschutz – gegenüber möglicher schädlicher Auswirkungen von KI-Systemen gewährleistet wird. So ist der AI Act auch eine Produktsicherheitsverordnung. Sie soll die europäischen Verbraucher vor Grundrechtsverletzungen schützen, die auf eine unangemessene Nutzung von KI zurückzuführen sind. Anbieter von als hochriskant eingestuften KI-Systemen müssen künftig die Einhaltung zahlreicher Anforderungen im Sinne der Grundsätze vertrauenswürdiger KI überprüfen und förmlich bestätigen – von KI-Governance bis zu KI-Qualität. Für Verstöße gegen diese Vorgaben drohen empfindliche Geldstrafen. Darüber hinaus können Anbieter gezwungen werden, ihre KI-Systeme vom Markt zu nehmen. Trotz umfangreicher Grundsätze, Regeln und Verfahren sowie neuer Aufsichtsstrukturen soll das Gesetz Innovationen in der EU nicht ausbremsen, sondern die Weiterentwicklung im KI-Bereich, insbesondere durch Start-ups und KMUs, durch Rechtssicherheit und regulatorische Sandboxes fördern.
Die Definition von KI im AI Act lehnt sich an die international anerkannte KI-Definition der OECD an. Ein-KI-System nach dem AI Act ist „ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können.”
Ein KI-System nach EU-Recht zeichnet sich durch die Fähigkeit zu Schlussfolgerungen aus, d.h., es kann Vorhersagen und Entscheidungen treffen, die reale und virtuelle Umgebungen beeinflussen. Dies wird durch Techniken wie maschinelles Lernen und logikbasierte Ansätze ermöglicht. KI-Systeme variieren in ihrer Autonomie und können entweder unabhängig oder integriert in Produkte genutzt werden, wobei sie sich durch Nutzung selbstständig anpassen können. Die Definition von KI im AI Act ist recht breit gefasst, was dazu führt, dass eine große Anzahl von Systemen unter die Regulierung fallen kann. Allerdings ist in den Erwägungsgründen zur Erläuterung der Verordnungstexte der KI-Verordnung wie auch in der Anfang Februar 2025 veröffentlichten Guideline der EU-Kommission zur Definition eines KI-Systems klargestellt, dass die Definition solche KI-Systeme nicht erfasst, die mathematische Optimierung, einfache Datenverarbeitung, klassische Heuristik oder einfache Vorhersagen (z.B. basierend auf statistischen Berechnungsregeln) umfassen. Außerdem hat sie sieben Elemente eines KI-Systems herausgearbeitet, aber auch klargestellt, dass diese für die Qualifizierung als KI-System nach dem AI Act nicht alle während des gesamten Lebenszyklus eines KI-Systems vorliegen müssen.
Der AI Act sieht vor, dass die Verordnung ausschließlich für Anwendungsfälle gilt, die in den Anwendungsbereich des EU-Rechts fallen. Zuständigkeiten von Mitgliedsstaaten oder Regierungsbehörden in Bezug auf die nationale Sicherheit sollen in keiner Weise beschnitten werden. Ausgenommen sind zudem KI-Systeme, die ausschließlich militärischen oder verteidigungspolitischen Zwecken dienen oder nur für Forschung und Innovation verwendet werden, auf Open-Source-Lizenzen basieren sowie die Nutzung für rein private Zwecke.
Die KI-Verordnung gilt für alle Anbieter von KI-Systemen, die auf dem europäischen Markt angeboten werden. Der Begriff Anbieter umfasst Personen oder Einrichtungen, die ein KI-System entwickeln und auf den Markt bringen. Auch Einführer, Händler und Betreiber unterliegen dessen Regulierung.
Wie bei „herkömmlichen" (fokussierten, auf einen bestimmten Zweck ausgerichteten) KI-Modellen werden im AI Act auch Basismodelle – die Engines hinter Generativer KI – anhand ihres Risikos eingestuft. Sie sind dank ihrer Flexibilität und ihrem Potenzial zur weitverbreiteten Nutzung als „KI mit allgemeinem Verwendungszweck “ (General Purpose AI, GPAI) benannt.
Der AI Act sieht folgende Einstufung vor: Sie basiert nicht auf der Anwendung, sondern auf der Leistung und Reichweite des zugrunde liegenden Basismodells.
Die quantitative, nicht subjektive Unterscheidung zwischen GPAI-Modellen und GPAI-Modellen mit systemischem Risiko erfolgt anhand der Rechenleistung, die zum Trainieren des zugrunde liegenden Basismodells benötigt wird. Diese wird in Gleitkommaoperationen pro Sekunde (Floating Point Operations Per Second, FLOPs) gemessen. Der Schwellenwert für GPAI-Modelle mit systemischem Risiko liegt bei 10^25 FLOP.
Um diese neuen Anforderungen in der Praxis zu erfüllen, werden Experten aus Industrie, Wissenschaft und Zivilgesellschaft sowie andere relevante Interessengruppen in Zusammenarbeit mit der Kommission Verhaltenskodizes – und letztendlich harmonisierte EU-weite Normen – entwickeln.
Bei der Einstufung von KI-Systemen verfolgt der AI Act einen risikobasierten Ansatz. Es werden also nicht alle KI-Systeme gleichbehandelt. Zunächst wird zwischen „herkömmlichen“ KI-Systemen und „KI mit allgemeinem Verwendungszweck “ (General Purpose AI, GPAI) unterschieden. Letztere ist eine relativ neue Entwicklung seit dem Aufkommen generativer KI-Systeme und wird als eigenständiges Thema behandelt (siehe unten).
Das Risiko bei sog. Single-Purpose AI (KI mit spezifischem Verwendungszweck) wird nicht anhand ihrer Technologie, sondern anhand ihres Anwendungsfalls bewertet. Die Risikokategorien reichen von „unannehmbar“ über „hoch“ bis zu „begrenzt oder minimal“. Systeme mit unannehmbarem Risiko sind verboten, während solche mit minimalem Risiko nicht der Regulierung durch den AI Act unterliegen.
KI-Systeme, die ein unannehmbares Risiko darstellen, werden innerhalb von nur sechs Monaten nach der offiziellen Verabschiedung der KI-Verordnung vollständig verboten. Der AI Act listet folgende Anwendungen auf:
Auch hierzu hat die EU-Kommission Anfang Februar 2025 mit einer Guideline hinsichtlich der verbotenen Praktiken eine Orientierungshilfe geliefert. Diese liefert eine Vielzahl an Beispielen für alle nach dem AI Act verbotenen Praktiken und grenzt diese zu hochriskanten Anwendungsfällen ab, stellt aber gleichzeitig klar, dass der Grad der Unterscheidung zwischen verbotenen und hochriskanten Anwendungsfällen ein sehr schmaler sein kann. Daher ist eine genaue Betrachtung im Einzelfall unerlässlich.
Der Schwerpunkt der Verordnung liegt also eindeutig auf Hochrisiko-KI-Systemen, für die eine Vielzahl an Compliance-Vorschriften gelten. Anbieter solcher Systeme sind etwa verpflichtet, ein Qualitätsmanagement- sowie ein Risikomanagementsystem einzuführen und die Anforderungen in puncto Datenqualität und -integrität zu erfüllen. Außerdem müssen sie eine Konformitätsbewertung durchführen und anschließend eine Konformitätserklärung ausstellen. Hochrisiko-KI-Systeme werden in zwei Kategorien eingeteilt:
Bevor Hochrisiko-KI-Systeme etwa in den Bereichen Öffentliche Hand, Banken oder Versicherung auf den Markt gebracht werden, muss zusätzlich eine Folgenabschätzung im Hinblick auf die Grundrechte (Fundamental Rights Impact Assessment) durchgeführt werden.
Die Bürger:innen sind berechtigt, bei den nationalen Behörden Beschwerden über KI-Systeme und algorithmische Entscheidungen einzureichen, die Auswirkungen auf ihre Rechte haben.
Es gibt Arten von KI-Systemen, die ein begrenztes oder minimales Risiko darstellen und auf die daher weniger bis gar keine Pflichten der KI-Verordnung zutreffen:
Administrative oder interne KI-Systeme wie Spamfilter oder Predictive-Maintenance-Systeme liegen außerhalb des Anwendungsbereichs der Verordnung und werden daher unter die Kategorie „minimales Risiko“ gefasst. Für diese KI-Systeme sieht die KI-Verordnung keine expliziten Pflichten vor. Unternehmen können jedoch auf freiwilliger Basis Verhaltenskodizes für diese KI-Systeme einhalten.
Dennoch gelten für KI-Systeme aller Risikoeinstufungen, die mit Personen interagieren, wie Chatbots oder Empfehlungssysteme. Für sie gelten bestimmte Transparenzpflichten. Von einem KI-System generierte Inhalte wie Unterhaltungen (Chatbots), Deepfakes oder biometrische Kategorisierungen müssen gekennzeichnet werden. Diese Pflichten gehen mit der Einordnung in die Klasse „begrenztes Risiko“ einher.
Zur Ausstellung einer Konformitätserklärung müssen Anbieter von Hochrisiko-KI-Systemen die Einhaltung der Verordnung vor der Markteinführung und über den gesamten Lebenszyklus eines KI-Systems hinweg nachweisen:
Details sind bei unserem dedizierten Artikel zu KI-Governance zu finden.
Der Gesetzgeber setzt im Allgemeinen voraus, dass sich Anbieter selbst kontrollieren, indem sie je nach Art des Hochrisiko-KI-Systems selbst eine Konformitätsbewertung vornehmen oder autorisierte Dritte damit beauftragen. Die KI-Verordnung sieht eine Verwaltungsstruktur mit mehreren zentralen Regierungsbehörden vor, die jeweils mit unterschiedlichen Aufgaben in Bezug auf die Umsetzung und Durchsetzung des Gesetzes betraut sind.
Das EU AI Office, eine neue Behörde innerhalb der Europäischen Kommission, koordiniert die Umsetzung des Gesetzes in allen EU-Mitgliedsstaaten. Zudem erfolgt die Aufsicht über GPAI mit erheblichen Auswirkungen durch das AI Office.
Ein an das AI Office angebundener Ausschuss, das KI-Gremium, bestehend aus Interessenvertretern aus Wirtschaft und Zivilgesellschaft, gibt Feedback und stellt sicher, dass während des Umsetzungsprozesses ein breites Meinungsspektrum vertreten ist.
Darüber hinaus soll das Wissenschaftliche Gremium, ein Beratungsforum aus unabhängigen Experten, systemische Risiken von KI erkennen, Leitlinien für die Modellklassifizierung bereitstellen und gewährleisten, dass die Regeln und Umsetzung des Gesetzes den neuesten wissenschaftlichen Erkenntnissen entsprechen.
Die EU-Mitgliedsstaaten müssen zuständige nationale Behörden einrichten oder bestimmen, die für die Durchsetzung des Gesetzes verantwortlich sind, sog. Marktüberwachungsbehörden. Außerdem sollen sie sicherstellen, dass sämtliche KI-Systeme den geltenden Normen und Vorschriften entsprechen. Zu ihren Aufgaben gehören:
In Deutschland sollen sich die Aufgabe der KI-Aufsicht nach aktuellem Referentenentwurf zur Durchführung des AI Acts die Bundesnetzagentur (für alle weiteren Branchen) und die BaFin (für den Finanzsektor) teilen.
KI-Systeme werden nach ihrem Risiko eingestuft. Analog dazu richten sich auch die im EU AI Act vorgesehenen Sanktionen nach der Schwere des Verstoßes:
Die KI-Verordnung sieht moderatere Geldbußen für KMUs und Start-ups vor.
Zwar finden die Vorschriften zu den Sanktionen erst ab August 2025 Anwendung, jedoch haben die Vorschriften über Verbote, die seit dem 02. Februar 2025 gelten, unmittelbare Wirkung, sodass Betroffene diese ggf. vor den nationalen Gerichten durchsetzen und einstweilige Verfügungen erwirken könnten.
Der AI Act ist am 01. August 2024 in Kraft getreten und hat gestaffelte Umsetzungsfristen. Fast vollständig ist der AI Act am 02. August 2026 anwendbar. Einige Bestimmungen gelten jedoch bereits früher, wobei Hochrisiko-KI-Systeme gemäß Annex II einer dreijährigen Übergangsfrist folgen:
Auch wenn noch nicht alle technischen Details geklärt sind, vermittelt der AI Act einen hinreichenden Eindruck vom Umfang und Ziel der künftigen Verordnung. Unternehmen werden viele interne Prozesse anpassen und Risikomanagementsysteme stärken müssen. Das europäische Normungsgremium CEN-CENELEC wird die Grundsätze der KI-Verordnung in technische Normen und Standards übersetzen, um die Prüfung und Zertifizierung von KI-Systemen zu erleichtern und die EU-Kommission veröffentlicht Leitlinien als Orientierungshilfe zur Anwendung des AI Acts. Allerdings kann auf im Unternehmen bestehenden Prozessen aufgebaut werden und aus Maßnahmen von vorherigen Gesetzen wie der DSGVO gelernt werden. Wir empfehlen Unternehmen, die Umsetzung innerhalb ihrer Organisation voranzutreiben und ihre Mitarbeitenden für das neue Gesetz zu sensibilisieren, eine Bestandsaufnahme ihrer KI-Systeme zu veranlassen, angemessene Governance-Maßnahmen sicherzustellen und als hochriskant eingestufte KI-Systeme akribisch zu überprüfen.
Wir von Deloitte stehen unseren Kunden hierbei zur Seite: Wir unterstützen Sie dabei, die Komplexität und den Umfang der KI-Verordnung zu meistern und sich auf die künftig geltenden Anforderungen vorzubereiten. Profitieren Sie von der Vordenkerrolle von Deloitte im Bereich der vertrauenswürdigen KI, unserer umfassenden Expertise bei der Entwicklung von KI-Systemen und unserer langjährigen Erfahrung als Wirtschaftsprüfungsunternehmen. Unsere Services orientieren sich an den sechs Lebenszyklus-Phasen von KI-Systemen, die auch in der KI-Verordnung beschrieben sind und der allgemeinen Praxis entsprechen.
Deloitte verfügt über umfassende Expertise in Bezug auf die Umsetzung KI-basierter Lösungen sowie die sorgfältige Entwicklung dedizierter Audit-Tools und Monitoring-Methoden zur Bewertung von KI-Modellen gemäß den Grundsätzen vertrauenswürdiger KI. Unser Ruf als kompetentes Beratungsunternehmen basiert insbesondere auf unseren anspruchsvollen Qualitätsstandards. Um die Konformität Ihrer Systeme zu bewerten, reicht das Ausfüllen eines Fragebogens bei Weitem nicht aus. Deloitte führt eine eingehende quantitative Analyse durch und testet Ihre KI-Modelle auf Herz und Nieren, um Logikfehler, methodische Inkonsistenzen, Implementierungsprobleme, Datenrisiken und sonstige Schwachpunkte zu ermitteln. Wir sind der Überzeugung, dass nur eine derart gründliche Vorgehensweise den Anforderungen unserer Kunden gerecht wird. Dies bedeutet jedoch nicht, dass das Rad bei jeder Analyse neu erfunden werden muss. Im Sinne der Effizienz hat Deloitte in die Entwicklung dedizierter Tools investiert, um die zahlreichen Schritte des Validierungsprozesses zu optimieren. Eine Reihe von Whitepapers (Download siehe unten) erklärt warum die Qualitätssicherung sowie Governance-Maschinerie von kritischer Bedeutung ist, um unser Vertrauen in die KI-Modelle und Systeme zu stärken, die entscheidend unsere Gegenwart und Zukunft prägen.