Künstliche Intelligenz (KI) wird im Finanzsektor bereits in zahlreichen Prozessen eingesetzt, mit
besonders rasanter Adoption von Anwendungsfällen generativer KI. Neben wachsenden
Anwendungsfällen und Potentialen innerhalb der Unternehmen steigt jetzt auch die
Aufmerksamkeit der Aufsichtsbehörden in diesem Feld.
Der Diskurs wechselt nun von der Frage “Wie können wir KI für unsere Zwecke einsetzen?” zur
Frage “Wie können wir KI verantwortungsbewusst, transparent und regulatorisch konform
einsetzen?”.
Hier hilft eine effektive KI Governance nicht nur den verantwortungsbewussten Umgang mit KI
zu fördern und Compliance mit Regulatorik, z.B. der europäischen KI-Verordnung (KI-VO),
sicherzustellen, sondern auch die Geschäftsziele zu übertreffen.
Der Beitrag in aller Kürze:
- Wachsende Bedeutung von KI Governance: Die Finanzbranche muss verstärkt auf
eine verantwortungsbewusste, transparente und regulatorisch konforme Nutzung von KI
achten, insbesondere im Hinblick auf die neue EU KI-Verordnung. - KI-Anwendungsfälle in der Finanzbranche: Es gibt eine Vielzahl an versprechenden
KI-Anwendungsfällen, die unterschiedliche Anforderungen nach KI-VO mit sich bringen.
Eine Risikoklassifizierung ist unabdinglich. - BaFin als Aufsichtsbehörde: Die BaFin wird voraussichtlich die Marktaufsicht für
KI-Systeme bei Finanzdienstleistern in Deutschland übernehmen, und hebt bereits heute
die Wichtigkeit von KI Governance zur Vermeidung von Risiken wie Diskriminierung und
Intransparenz vor. Sie nennt KI derzeit als eines der größten Digitalisierungsrisiken. - KI Governance umsetzen: Die Herausforderung in der Governance liegt darin, die eher
abstrakten Richtlinien, Verordnungen und Standards in konkrete Maßnahmen zu
übersetzen. Eine umfassende Bestandsaufnahme ist ein erster Schritt und sollte mit
geeigneten Tools unterstützt werden.
Weshalb KI Governance essentiell ist
Die zentrale Aufgabe der KI Governance besteht darin, die ethische und verantwortungsvolle
Entwicklung und Nutzung von KI zu gewährleisten. Dabei ermöglicht sie es Unternehmen, das
volle Potential von KI auszuschöpfen und gleichzeitig Risiken wie Voreingenommenheit,
Diskriminierung und Datenschutzverletzungen zu minimieren.
Der Begriff KI Governance beschreibt ein System von Regeln, Prozessen, Rahmenwerken und
Tools, die in einer Organisation eingesetzt werden, um sicherzustellen, dass die Nutzung von KI
mit den Unternehmensprinzipien, rechtlichen Anforderungen sowie Normen übereinstimmt. Die Governance umfasst verschiedenen Unternehmensbereiche und fordert interdisziplinäres
Zusammenarbeiten. Konkret beginnt dies mit der Einführung einer KI-spezifischen Richtlinie,
der Zuweisung von Zuständigkeiten und der Bestandsaufnahme aller eingesetzten KI-Systeme,
inklusive Risikobewertung. Die spezifischen Anforderungen leiten sich aus dem
KI-Governance-Framework ab, z.B. orientiert an der EU KI-VO, ISO 42001, oder dem NIST AI
RMF. Die Prozesse erstrecken sich über den gesamten KI-Lebenszyklus, bis hin zum Audit oder
einer Zertifizierung.
Unternehmen, welche in der EU ansässig sind oder KI-Systeme innerhalb der EU anwenden,
müssen sich zudem auf neue Gesetze für KI einstellen. Die seit dem August 2024 in Kraft
getretene KI-Verordnung der EU macht die Einführung eines KI Governance Systems für eine
Vielzahl an Unternehmen zur Pflicht. Wer sich nicht an die KI-Verordnung hält, riskiert neben
möglichen adversen Effekten des eingesetzten KI-Systems also auch Strafzahlungen in
Millionenhöhe.
Einer Analyse von Gartner zufolge, profitieren Unternehmen, die vertrauenswürdige und
verantwortungsvolle KI-Systeme einsetzen, sowohl von einer verbesserten Erreichung ihrer
Geschäftsziele als auch von einer erhöhten KI-Adoptions- und Akzeptanzrate. Unternehmen,
die jetzt KI Governance operationalisieren, können bis 2026 eine Steigerung von bis zu 50% in
ihren Ergebnissen erwarten.
KI-Regulierung und Aufsicht im Kontext der Finanzbranche
Die neue KI-Verordnung der EU reguliert Anbieter und Betreiber von KI-Systemen risikobasiert
je nach Anwendungsbereich. Damit ist die KI-VO eine sektorübergreifende Regulierung, mit
hoher Relevanz für die bereits hochregulierte Finanzbranche. Da die KI-VO eine Konsolidierung
mit den bestehenden Marktüberwachungsstrukturen vorsieht, ist anzunehmen, dass die BaFin
in Deutschland für die Marktaufsicht von KI bei Finanzdienstleistern zuständig sein wird.
Aus Aufsichtsperspektive dürfen KI-Modelle nur eingesetzt werden, wenn dessen
Entscheidungen nachvollziehbar sind. Die BaFin plädiert daher bereits heute für die enorme
Wichtigkeit einer sorgfältigen KI Governance und erkennt die KI-VO als geeignetes
regulatorisches Rahmenwerk an, um versteckte Diskriminierung, Fehlanwendungen,
mangelnde Nachvollziehbarkeit oder Urheberrechtsverletzungen zu vermeiden.
Die KI-VO gliedert Anwendungsfälle in vier Risikokategorien auf, die über den Umfang der
Anforderungen entscheiden. Systeme mit inakzeptablem Risiko (z.B. Social Scoring) sind
verboten, Hochrisiko-Systeme (z.B. im Personalmanagement) stark reguliert, Systeme mit
begrenztem Risiko (z.B. Kunden-Chatbots) unterliegen Transparenzvorschriften und Systeme
mit minimalem Risiko (z.B. interne Dokumentenverarbeitung) sind nicht reguliert, es wird aber
ein freiwilliger Verhaltens-Kodex empfohlen.
Für die meisten Finanzdienstleister, die zunehmend (generative) KI einsetzen, ist vor allem die
Regulierung von Hochrisiko-KI-Systemen und die Beziehung zu Anbietern von sogenannten
“General Purpose AI Models”, wie z.B. GPT-4, von Bedeutung. So zählen KI-Systeme, die
bspw. für das Einschätzen der Kreditwürdigkeit einer Person oder für die Risikobewertung bei
Lebens- und Krankenversicherungen vorgesehen sind, zu Hochrisiko-Systemen. Die
Verordnung wertet außerdem großzügig Anwendungsbereiche im Management und in der
Weiterbildung von Personal als hochriskant.
Kurzgesagt, sind umfangreiche Maßnahmen nötig, um sich einerseits generell auf die
KI-Verordnung vorzubereiten und andererseits den Verpflichtungen beim Entwickeln und
Einsetzen von Hochrisiko-KI-Systemen nachzukommen. Dazu zählt das Einführen eines
KI-Qualitäts-Management-Systems, inkl. Risikomanagement, ausführlicher und klar
verständlicher technischer Dokumentation und zuständigen Personen für die Kontrolle von
KI-Systemen (weitere Informationen zum EU AI Act, den neuen Verpflichtungen und zur
Risikoklassifizierung gibt es hier).
Hier versucht der Gesetzgeber Erleichterungen für Finanzinstitute zu schaffen, und schreibt die Harmonisierung mit bestehenden Vorschriften und Integration in bestehende Prozesse vor.
Beispielsweise fallen die Anforderungen der KI-VO zu Monitoring nach dem Inverkehrbringen,
Aufbewahrung der Dokumentation und Logs, Umsetzen eines Qualitäts-Management-Systems
und Risikomanagementprozesses unter die bereits bestehende Regulatorik. So sind nun z.B.
die bestehende MaRisk Validierungspraxis an die neuen Kriterien der KI-VO anzupassen.
Die BaFin führt 2024 KI als maßgebliches Digitalisierungsrisiko auf und fordert eine zeitnahe
Auseinandersetzung mit dem Thema KI Governance sowie dem Aufbau nötiger Prozesse.
Besonders stellt sie das Risiko der Diskriminierung und Bias und die Problematik der
Intransparenz (vor allem bei generativer KI) in den Fokus. Dies wird bereits heute in der
aufsichtlichen Tätigkeit berücksichtigt und resultiert in folgenden sofortigen Anforderungen an
Finanzinstitute, die KI einsetzen:
- Governance-Prozesse müssen in Bezug auf KI angepasst und ergänzt werden.
- Verantwortlichkeiten sind unter der Wohlverhaltensaufsicht klar zu regeln und
Mitarbeitende, die mit dem Einsatz und der Entwicklung von KI betraut sind, müssen
entsprechend sensibilisiert und geschult werden. - Überprüfungsprozesse zur Identifizierung von möglichen Diskriminierungsquellen sind
einzurichten und Beseitigungsmaßnahmen müssen ergriffen werden. - Menschliche Aufsicht muss für einen verantwortungsvollen Betrieb gewährleistet sein.
- KI-Modelle müssen verantwortungsvoll und unter Berücksichtigung ihrer Limitationen
gewählt werden.
KI Governance richtig umsetzen
Die Herausforderung einer effektiven KI Governance liegt darin, die üblicherweise abstrakt
formulierten Richtlinien, Verordnungen und auch ethische Rahmenwerke zu konkretisieren, auf das Unternehmen anzupassen und zu operationalisieren.
Zunächst sollten alle KI-Systeme im Unternehmen und deren Risiken in einem Katalog (”AI
Registry”) identifiziert und gesammelt werden. Außerdem sollte eine Analyse aller anwendbaren Verordnungen durchgeführt werden. Das ermöglicht zum einen, die Einordnung dieser Systeme nach Risiko, und zum anderen, hilft es zu verstehen, welche regulatorischen Anforderungen zu erfüllen sind und welche Maßnahmen gegebenenfalls bereits mit bestehenden Prozessen abgedeckt werden können. Als Unternehmen sollte man sich darüber hinaus im Klaren sein, welche Standards der Ethik und Qualität den Einsatz von KI prägen soll. Schließlich sollten alle Anforderungen, sowohl gesetzliche als auch individuelle, so konkret wie möglich in einzelne To-Do’s heruntergebrochen und an Teams mit relevanter Kompetenz zugewiesen werden. Wichtig ist dabei die funktionsübergreifende Einbindung der Mitarbeiter – vom Entwickler, über den KI-Projektmanager bis hin zur Compliance Officer. Dies wird sowohl Konsequenzen für die 1st, als auch 2nd Line of Defence haben und von sehr technischen Anforderungen bis zu Compliance-Prüfungen variieren.
KI Governance umfasst weit mehr als die hier angeschnittenen Komponenten und kann sehr
zeitaufwändig werden. Bei der effizienten Operationalisierung sind spezialisierte Software-Tools, wie z.B. trail, essentiell, um alle Aufgaben zentral zu steuern, Verantwortlichkeiten effizient an die jeweiligen Abteilungen zuzuweisen und teilweise zu automatisieren. Die Dynamik von KI fordert innovative Compliance-Prozesse, die in bestehende Funktionen integrieren, was durch ein einheitliches Software-Tool gewährleistet werden kann.
Über trail
trail ist ein Münchner Start-up, welches insbesondere Banken, Versicherungen und Finanzdienstleistern die Nutzung und Entwicklung von qualitativen und vertrauenswürdigen KI-Systemen ermöglicht. Dafür hat trail eine Software-Plattform entwickelt – der “AI Governance Copilot” – der es sowohl technischen als auch nicht-technischen Teams erlaubt, KI-Systeme effizient zu verwalten und interne KI Richtlinien, offizielle Standards und den EU AI Act einzuhalten.