Aufbau einer vertrauenswürdigen generativen KI

Trotz all des Enthusiasmus, aller Forschung und der Entwicklung, die in die Generative KI geflossen sind, wurde bislang nicht in angemessenem Umfang in die Bewältigung von deren Schwachstellen investiert. Es wurden zwar zahlreiche Experimente und „Hacks“ unternommen, um Modelle zu manipulieren und damit die Gefahren aufzuzeigen, aber es wurde zu wenig darauf geachtet, die Risiken methodisch zu managen. Glücklicherweise wächst das Interesse an KI-Qualität und KI-Ethik – zusammengefasst unter dem Begriff der „Vertrauenswürdigen KI“ – und schafft eine geeignete Ausgangsbasis, um das Risikomanagement in Bezug auf generative KI weiterzuentwickeln. 

Auf den ersten Blick scheinen mit deren neuen Fähigkeiten neue Gefahren einherzugehen, doch wenn man diese genauer betrachtet, sind die Risiken lediglich neue Erscheinungsformen bekannter Themen, die bei der Entwicklung und dem Einsatz von KI schon immer eine Rolle gespielt haben. Die Konzepte und Tools, die eine vertrauenswürdige KI ermöglichen, gelten nach wie vor, auch wenn viele der entstehenden Risiken und problematischen Szenarien nuancierter sind. 

Um Unternehmen auf eine vielversprechende, erfolgreiche Zukunft mit generativer KI vorzubereiten, ist es sinnvoll, zunächst Art und Ausmaß der Risiken besser zu verstehen und zugleich die Governance-Strategien zu betrachten, die zu deren Minderung beitragen können.

Robust und zuverlässig

Ein heiß diskutiertes Thema im Kontext der generativen KI ist die Tendenz von Large Language Modellen (LLMs), zu "halluzinieren" oder, mit anderen Worten, ungenaue und/oder inkonsistente Inhalte zu erzeugen. Generative KI-Modelle sind so konzipiert, dass sie Daten erzeugen, die realen Daten sehr ähnlich sind, aber das bedeutet nicht unbedingt, dass diese Ergebnisse sachlich korrekt sind. Manchmal biegt das Modell auch in die falsche Richtung ab. Es kann sehr empfindlich auf den Wortlaut von Abfragen oder "Prompts" reagieren. Die „Halluzinationen“ generativer KI sind lediglich das in natürlicher Sprache ausgegebene Äquivalent zum statistischen Vertrauen, das in jedem KI-Modell vorherrscht. Das Problem im Falle von generativer KI ist aber die überzeugend und authentisch wirkende Präsentation der Ergebnisse. 

Fair und unvoreingenommen

Verzerrungen in KI-Ergebnissen zu begrenzen, ist eine Priorität für alle KI-Modelle, vom maschinellen Lernen bis hin zur generativen KI. Die Ursache ist in allen Fällen eine latente Voreingenommenheit (Bias) beim Trainieren und Testen. Unternehmen, die eigene und fremde Daten verwenden, müssen diese Verzerrungen identifizieren, beheben und beseitigen, damit KI-Modelle sie nicht aufrechterhalten. Dabei geht es nicht nur um ungleiche Ergebnisse von KI-gestützten Entscheidungen.

Ein generativer KI-gestützter Chatbot, der eine kohärente, kulturspezifische Sprache für ein Publikum in einer bestimmten Region produziert, bietet möglicherweise nicht dasselbe Maß an Nuancen für ein anderes Publikum, was zu einer Anwendung führt, die besser für eine Gruppe funktioniert als für eine andere. In der Praxis könnte dies das Vertrauen der Endnutzer:innen in das Tool mindern, was wiederum negative Auswirkungen auf deren Vertrauen in das Unternehmen selbst hat.

Transparent und erklärbar

Angesichts der Fähigkeit einiger generativer KI-Modelle, sich überzeugend als Mensch auszugeben, wird es In Europa unter dem EU AI Act notwendig sein, die Endnutzer:innen ausdrücklich darüber zu informieren, dass sie mit einer Maschine sprechen. Bei generativem KI-Material oder generativen KI-Daten hängen Transparenz und Erklärbarkeit auch davon ab, ob die Ergebnisse oder Entscheidungen als von einer KI erzeugt gekennzeichnet sind.

Eine von generativer KI erstellte Textantwort wäre zum Beispiel glaubwürdiger, wenn sie durch Angabe der Quellen leicht auf Fakten überprüft werden könnte. Oder ein Bild könnte seine generierte Herkunft durch ein Wasserzeichen kenntlich machen. Bei durch generative KI erstellten Empfehlungen – insbesondere in sensiblen und stark regulierten Bereichen wie dem Gesundheitswesen – könnte es erforderlich sein, Nutzer:innen mitzuteilen, dass der Text tatsächlich maschinell generiert wurde, oder sogar weitere Erläuterungen zu den Gründen für die Empfehlung anzugeben, indem die Quellen genannt werden. 

Die enorme Komplexität der Modelle, die der generativen KI zugrunde liegen, vergrößert das "Blackbox"-Problem der klassischen KI erheblich. Große Sprachmodelle zum Beispiel sind sehr tiefe neuronale Netze mit Hunderten von Milliarden Parametern, deren schiere Größe es unmöglich macht, herkömmliche Ansätze zur Erklärung von Modellen zu nutzen. Zu den Problemen mit der Transparenz und Erklärbarkeit kommt noch die Herausforderung hinzu, die Ergebnisse der generativen KI mit den Prioritäten und Werten eines Unternehmens in Einklang zu bringen. Zur Förderung der Modelltransparenz und der kontinuierlichen Verbesserung könnten Unternehmen Technologieplattformen nutzen, die dabei helfen, die Modellleistung zu bewerten und zu verfolgen sowie jeden Schritt des KI-Lebenszyklus zu bewerten, zu verwalten und zu dokumentieren. Auf diese Weise könnten sie beurteilen, ob ein KI-Tool die beabsichtigte Leistung erbringt und mit den relevanten Vertrauensdimensionen übereinstimmt.

Sicher und geschützt

Leistungsstarke Technologien sind oft Zielscheibe für böswilliges Verhalten, und generative KI kann anfällig für schädliche Manipulationen sein. Eine Bedrohung ist beispielsweise das so genannte Prompt-Spoofing, bei dem ein Endnutzer seine Eingaben so gestaltet, dass das Modell Informationen preisgibt, die es nicht preisgeben sollte – so wie herkömmliche KI-Modelle für Reverse-Engineering-Angriffe missbraucht werden, um die zugrunde liegenden Daten zu enthüllen. Darüber hinaus besteht insbesondere angesichts der Fähigkeit der generativen KI, menschliche Sprache, Ähnlichkeit und Schrift zu imitieren, die Gefahr der massiven Erstellung und Verbreitung von Falschinformationen.

Generative KI kann die Personalisierung und Übersetzung von Inhalten in großer Anzahl und nahezu in Echtzeit ermöglichen. Dies ist zwar für die gezielte Kundenansprache und die Erstellung von Berichten von Vorteil, birgt aber auch die Gefahr, dass ungenaue, irreführende oder sogar schädliche von generativer KI erstellte Inhalte in einem Ausmaß und mit einer Geschwindigkeit verbreitet werden, die die menschliche Fähigkeit übersteigt, dies zu verhindern. Ein generatives KI-gestütztes System könnte fälschlicherweise Produkte oder Angebote, die nicht existieren, bei einem Kundenstamm bewerben, was zu potenzieller Markenschädigung führen kann.

Noch bedenklicher ist, dass generative KI-Inhalte zur Erstellung falscher oder irreführender Inhalte verwendet werden könnten, um dem Unternehmen, seinen Kund:innen oder sogar Teilen der Gesellschaft zu schaden. Um die Sicherheit generativer KI zu fördern, müssen Unternehmen eine Vielzahl von Faktoren im Zusammenhang mit Cybersicherheit berücksichtigen und den Output generativer KI mit den Interessen von Unternehmen und Nutzer:innen abgleichen.

Rechenschaftspflichtig

Bei herkömmlichen Formen von KI ist die Fähigkeit der Stakeholder, das Modell, seine Funktion und seine Ergebnisse zu verstehen, eine wesentliche Voraussetzung für eine ethische Entscheidungsfindung. Da ein KI-Modell nicht wirkungsvoll für seine Outputs zur Rechenschaft gezogen werden kann, ist die Rechenschaftspflicht eindeutig eine menschliche Domäne. In einigen Anwendungsfällen macht generative KI die Rechenschaftspflicht zu einer wesentlich schwierigeren und komplizierteren Angelegenheit.

Stellen wir uns eine mögliche, nicht allzu ferne Zukunft vor, in der große Unternehmen mehrere KI-Agenten einsetzen, die vom Kundenservice bis hin zu einem öffentlichen "KI-Sprecher" reichen. Dieser hat Zugriff auf alle Social-Media- und Marketing-Tools, Kundenprofile, Unternehmensdaten und mehr. Er könnte auf bestimmte Themen abgestimmt werden (z. B. Heimwerkertipps eines Haushaltswarenhändlers). Er könnte so angepasst werden, dass er eine zur Marke oder zum Zielkunden passende Persona verkörpert. Er könnte auch in großem Maßstab als persönlicher und im Namen der Marke agierender Assistent eingesetzt werden. Statt Apps auf dem Smartphone gäbe es dann Bots für jedes Unternehmen – mit hochgradig personalisierten Empfehlungen und einem dauerhaften Gedächtnis, das sich an frühere Interaktionen erinnern kann, sogar über mehrere Plattformen hinweg (z. B. Mobiltelefon, soziale Medien, Unternehmenswebsite, Support-Callcenter).

Wie kann das Unternehmen das vertrauenswürdige Verhalten einer derartigen KI-Persona kontrollieren, die in einem so umfassenden Ausmaß operiert, dass sie die Möglichkeit der Transparenz und der Einbindung eines Menschen in den Entscheidungsprozess übersteigt? Was passiert, wenn ein „KI-Sprecher“ vom Weg abkommt, um seine Nutzer:innen zu desinformieren, oder wenn er gehackt wird, um beispielsweise ein Produkt der Konkurrenz zu bewerben? Letztlich ist das Unternehmen, das ein solches Tool bereitstellt, für die Ergebnisse und die Folgen dieser Ergebnisse verantwortlich. Unabhängig davon, ob das Unternehmen ein intern erstelltes Modell verwendet oder den Zugang über einen Anbieter erwirbt, muss es eine klare Verbindung zwischen dem generativen KI-Modell und dem Unternehmen, das es einsetzt, geben.

Verantwortungsvoll

Nur weil wir generative KI für eine bestimmte Anwendung nutzen können, heißt das nicht in jedem Fall, dass wir dies auch tun sollten. Denn trotz des großen Nutzens, der damit erzielt werden kann, können Anwendungsfälle generativer KI auch zu erheblichen Schäden und Disruptionen führen. Deep Fakes sind ein praktisches Beispiel: Stellen wir uns ein Szenario vor, in dem ein Politiker für ein Amt kandidiert und der politische Gegner generative KI einsetzt, um ein realistisch erscheinendes, aber unwahres Video zu erstellen, in dem der Kandidat unpassende Dinge sagt und tut. Ohne Kontext beginnen die Wähler:innen möglicherweise, an der Wahrheit zu zweifeln. Dies stiftet Verwirrung und politische Unruhe und könnte, was noch viel schwerwiegender ist, das Vertrauen in die demokratischen Institutionen und Prozesse untergraben, die für eine funktionierende Gesellschaft unerlässlich sind.

Ein ähnliches Szenario ist auch auf der globalen Bühne denkbar: Audiodaten könnten einen Staats- oder Regierungschef imitieren, der einen Konflikt androht. Übersetzungen könnten ergänzt werden, um Absichten falsch darzustellen. Videos könnten erstellt werden, um einen militärischen Konflikt zu zeigen, der in Wirklichkeit nicht stattfindet. Und all dies kann kostengünstig, in Echtzeit, personalisiert und in großem Umfang erfolgen. In diesem Szenario verschwimmt die Grenze zwischen objektiver Wahrheit und Täuschung durch generative KI.

Doch selbst wenn generative KI-Ergebnisse ohne böse Absicht erzeugt sind, bleiben Fragen zur verantwortungsvollen Entwicklung und zum Einsatz bestehen. So ist beispielsweise zu beachten, dass das Trainieren, Testen und Verwenden generativer KI-Modelle zu einem erheblichen Energieverbrauch führen kann, was sich auf den Klimawandel und die ökologische Nachhaltigkeit auswirkt. Diese Konsequenzen des Einsatzes generativer KI stehen möglicherweise nicht im Einklang mit den Zielen eines Unternehmens, seinen CO2-Fußabdruck zu verringern. Die Frage, ob es eine verantwortungsvolle Entscheidung ist, ein Modell zu entwickeln und einzusetzen, hängt also von der Organisation und ihren Prioritäten ab. Was von einem Unternehmen als verantwortungsvoller Einsatz betrachtet wird, kann von einem anderen Unternehmen anders beurteilt werden. Führungskräfte in Unternehmen müssen gezielt entscheiden, welcher Anwendungsfall von generativer KI eine verantwortungsvolle Entscheidung für ihr Unternehmen ist.

Datenschutz und Urheberrecht

Die Daten, die zum Trainieren und Testen generativer KI-Modelle verwendet werden, können sensible oder persönlich identifizierbare Informationen enthalten, die verschleiert und geschützt werden müssen. Wie bei anderen Arten von KI muss das Unternehmen kohärente Prozesse entwickeln, um den Datenschutz für alle Beteiligten, einschließlich der Datenanbieter, Anbieter, Kund:innen und Mitarbeitenden, sicherzustellen. In diesem Zusammenhang kann das Unternehmen auf das Entfernen personenbezogener Daten und die Verwendung synthetischer Daten zurückgreifen oder die Eingabe personenbezogener Daten in das System verhindern.

Es stellen sich auch wichtige Fragen zum geistigen Eigentum, das durch generative KI entsteht. Die Urheberrechtsgesetze zielen im Allgemeinen darauf ab, die wirtschaftlichen und moralischen Rechte von Urhebern an ihrem geschützten Werk zu schützen. Was passiert, wenn etwas durch generative KI mit minimaler oder gar keiner menschlichen Beteiligung erschaffen wird? Kann das urheberrechtlich geschützt werden? Für Unternehmen stellt sich die Frage, wie generative KI zur Erstellung geschäftskritischer Daten (z. B. für die Entwicklung von Produktprototypen) eingesetzt wird und ob die daraus abgeleiteten Daten rechtmäßig und ausschließlich dem Unternehmen gehören.

Risikomanagement in einem sich rasch entwickelnden Umfeld

Die Etablierung einer wirksamen, unternehmensweiten KI-Modell-Governance kann nicht einfach aufgeschoben werden, bis sich negative Folgen zeigen. Und es reicht auch nicht aus, abzuwarten, wie sich die staatlichen Vorschriften für generative KI entwickeln. Stattdessen müssen Unternehmen die Risiken der generativen KI berücksichtigen, die heute bestehen, und jene, die mit der Fortentwicklung der Technologie zukünftig entstehen werden.

Glücklicherweise gilt für generative KI-Modelle das Gleiche wie für die Bereiche der vertrauenswürdigen KI, und das betrifft auch die Governance. Im Kern geht es darum, Menschen, Prozesse und Technologien aufeinander abzustimmen, um die Risikominderung zu fördern und Governance zu etablieren. Mit der Belegschaft wird die Aufgabe, Risiken zu identifizieren und zu managen, im gesamten Unternehmen auf technische und nicht-technische Stakeholder verteilt.

Um an der Governance von generativer KI mitwirken zu können, benötigen diese ein klares Verständnis der Rollen und Verantwortlichkeiten. Dazu bedarf es Schulungsmöglichkeiten für die Mitarbeitenden, um ihre KI-Kenntnisse und -Fähigkeiten zu verbessern, und besser mit und in Kombination mit dieser Technologie arbeiten zu können. Dies kann in Form von speziellen KI-Ethik- und KI-Qualitätsgremien geschehen oder in etablierte Kontrollstrukturen eingebettet werden. In jedem Fall sind Unternehmen, die ihre KI-Entwicklungs- und -Governance-Teams mit unterschiedlichen Fähigkeiten und Hintergründen besetzen, am besten dafür gerüstet, KI mit einem abgerundeten Spektrum an Perspektiven und Erfahrungen zu gestalten und einzusetzen.

Neben der Vorbereitung der Belegschaft müssen möglicherweise auch Prozesse neu entwickelt werden, um sowohl von den Fähigkeiten der generativen KI zu profitieren als auch potenziellen Problemen wirksam vorzubeugen. Risikobewertung und -analyse sollte in den gesamten Lebenszyklus generativer KI integriert werden, mit regelmäßigen Zwischenzielen für die Überprüfung und Entscheidungsfindung durch die Beteiligten. Es gilt zu bedenken, wie die Eingaben der Nutzerdaten gespeichert, übertragen und zur Erweiterung oder Optimierung des Modells genutzt werden, was Prozesse in den Bereichen Recht, Compliance und Cybersicherheit berührt. Aufsichtsbehörden weltweit beginnen, Regeln für den Einsatz generativer KI aufzustellen. Bereits in seinem aktuellen Entwurf zielt der EU AI Act direkt auf die Risiken und Verantwortlichkeiten im Zusammenhang mit Basismodellen und allgemeiner KI ab, wobei Maßnahmen wie dokumentierte Unparteilichkeit, Erklärbarkeit von Modellen und Datenschutz eine zentrale Rolle spielen.

Es ist an der Zeit, zu handeln

Die bahnbrechenden Möglichkeiten, die sich durch generative KI eröffnen, sind zahlreich. Doch auch die Risiken sind erheblich und müssen ernst genommen werden. Wie in jedem anderen Bereich erfordert das wirksame Management von Risiken gezielte Anstrengungen. Sie zu ignorieren wäre fahrlässig, ja sogar unverantwortlich, angesichts der vielfältigen Potenziale dieser Technologie für zahlreiche Prozesse und Produkte.  

Auf den Einsatz generativer KI zu verzichten, ist jedoch keine effektive Risikomanagement-Strategie – die Konsequenzen, die sich ergeben, wenn man sie nicht einsetzt, überwiegen die Nachteile, die sich aus deren Übernahme und Integration in das Geschäftsmodell ergeben. Denn wie bei vielen transformativen Technologien bedeutet auch hier Stillstand Rückschritt.