(c) Martin Rettenberger - stock.adobe.com
Erscheinung:01.08.2024 | Thema Banken, Versicherungen KI bei Banken und Versicherern: Automatisch fair?
(BaFinJournal) Die Automatisierung der Finanzindustrie schreitet rasant voran. Künstliche Intelligenz und Maschinelles Lernen versprechen große wirtschaftliche Möglichkeiten. Ihr Einsatz wirft aber auch kritische Fragen auf.
Von Lydia Albers, Dr. Matthias Fahrenwaldt, Ulrike Kuhn-Stojic, Dr. Martina Schneider, BaFin-Banken- und -Versicherungsaufsicht
Künstliche Intelligenz (KI) und Maschinelles Lernen (ML) sind auch in der Finanzbranche auf dem Vormarsch. Mit ihrer Hilfe lassen sich unter anderem Prozesse beschleunigen und eine große Menge an Daten schnell und effektiv auswerten. Wenn Maschinen jedoch Entscheidungen treffen, kann es problematisch werden. Denn sie folgen nur auf den ersten Blick einer neutralen Logik. Hochgradig automatisierte Entscheidungsprozesse mit geringer menschlicher Überwachung können bestehende Diskriminierungsrisiken verstärken.
Finanzdienstleister (siehe Infokasten) und staatliche Aufsichtsbehörden sind daher gefordert, eine ungerechtfertigte Diskriminierung von Kundinnen und Kunden zu vermeiden. Doch was genau ist Diskriminierung?
Auf einen Blick:Finanzdienstleister
Der Einfachheit halber ist in diesem Beitrag von „Finanzdienstleistern“ die Rede. Gemeint sind damit Versicherungsunternehmen i. S. v. § 7 Versicherungsaufsichtsgesetz (VAG), Kreditinstitute i. S. v. § 1 Absatz 1 Kreditwesengesetz (KWG), die in § 1 Absatz 1a KWG genannten Unternehmen und Wertpapierdienstleistungsunternehmen im Sinne von § 2 Absatz 10 Wertpapierhandelsgesetz (WpHG).
Die EU-Gesetzgebung unterscheidet zwischen direkter/unmittelbarer und indirekter/mittelbarer Diskriminierung. Bei ersterer wird eine Person oder Personengruppe aufgrund einer geschützten Eigenschaft benachteiligt (siehe auch Infokasten „Geschützte Eigenschaften“). Indirekte Diskriminierung liegt vor, wenn ein scheinbar neutrales Verfahren eine Person oder eine Gruppe mit gleichen geschützten Merkmalen benachteiligt (siehe Infokasten „Verschiedene Formen der Diskriminierung“). Indirekte Diskriminierung stellt nicht mehr auf die Ungleichbehandlung selbst ab, sondern auf die Auswirkungen von scheinbar neutralen Vorschriften, Verfahren oder Kriterien. In einigen Fällen kann es schwierig sein zu entscheiden, ob eine Situation als direkte oder indirekte Diskriminierung einzuschätzen ist.
Auf einen Blick:Geschützte Eigenschaften
Geschützte Eigenschaften oder Merkmale von natürlichen Personen sind vielfältig. Sie hängen von der Kultur, dem rechtlichen Rahmen und dem konkreten Anwendungsbezug ab. Das europäische Recht verbietet beispielsweise die direkte und indirekte Diskriminierung aufgrund von Rasse, ethnischer Herkunft, nationaler Herkunft, Geschlecht, Alter, Ehe- oder Familienstand, Weltanschauung, Religion, sexueller Ausrichtung oder Behinderung.
Welche Eigenschaften geschützt sind, unterscheidet sich nach dem fachrechtlichen Anwendungsbereich. Das zivilrechtliche Allgemeine Gleichbehandlungsgesetz (AGG) nennt für das Massengeschäft beispielsweise folgende geschützte Merkmale: Rasse, ethnische Herkunft, Geschlecht, Religion, Behinderung, Alter oder sexuelle Identität (siehe §§ 19 und 20 AGG). Die Auswahl an personenbezogenen Merkmalen, die bei der Datenverarbeitung nach Datenschutzgrundverordnung (Artikel 9 Absatz 1 DSGVO) untersagt werden, unterscheidet sich davon unter anderem durch die Einbeziehung von Gewerkschaftszugehörigkeit, genetischen oder biometrischen Daten. Die weltweit unterschiedlichen Ausprägungen der Antidiskriminierungsgesetzgebung erschweren eine international einheitliche Regulierung.
Fairness ist eine vielschichtige Herausforderung
Im KI/ML-Sprachgebrauch werden solche Fragen zu Diskriminierung oft unter dem Terminus Fairness zusammengefasst. Dieser Fairness-Begriff umfasst drei wichtige Aspekte.
Erstens Algorithmische Fairness. Hier soll das Design des Algorithmus sicherstellen, dass Personen und Personengruppen gleichförmig behandelt werden. Häufig geschieht dies durch quantitative Verfahren, im einfachsten Fall etwa durch den Vergleich der Anteile positiver Kreditentscheidungen gegenüber Frauen mit dem Anteil positiver Entscheidungen gegenüber Männern. Solch ein statistischer Ansatz, der auf Eigenschaften von Personengruppen abstellt, ist jedoch grundsätzlich nicht dazu geeignet, individuelle Diskriminierung zu identifizieren. Daher sind je nach Einzelfall geeignete weitergehende Maßnahmen erforderlich.
Der zweite Aspekt des hier genutzten Fairness-Begriffes ist Diskriminierung im rechtlichen Sinne. Sie unterscheidet sich je nach nationaler Jurisdiktion. Wann eine gesetzlich (nicht) erlaubte Ungleichbehandlung vorliegt, ist beispielsweise in Deutschland zivilrechtlich im Allgemeinen Gleichbehandlungsgesetz (§§ 19 und 20 AGG) geregelt. Dort sind auch die geschützten Eigenschaften definiert (siehe auch Infokasten „Geschützte Eigenschaften“).
Auf einen Blick:Verschiedene Formen der Diskriminierung
Direkte Diskriminierung liegt beispielsweise vor, wenn ältere Menschen aufgrund ihres Alters bei der Vergabe von Finanzdienstleistungen benachteiligt werden. Ein Beispiel für indirekte Diskriminierung könnte ein Verfahren sein, das diese Entscheidung von der Einkommenshöhe abhängig macht. Da Frauen durchschnittlich weniger verdienen als Männer, würden sie dabei systematisch benachteiligt.
Nicht jede Ungleichbehandlung ist rechtlich verboten: Wird nach Alter bzw. Einkommenshöhe sachlich gerechtfertigt unterschieden, ist das eine zulässige Ungleichbehandlung.
Die Betrachtung der Diskriminierung aufgrund einzelner geschützter Eigenschaften wird nach Meinung vieler Expertinnen und Experten den alltäglichen, realen Formen von Ungleichbehandlung häufig nicht gerecht. Denn oft führt erst die gleichzeitige Berücksichtigung mehrerer Gründe zu einer Diskriminierung. Man spricht dann von Mehrfachdiskriminierung bzw. intersektioneller Diskriminierung, wenn mehrere Gründe gleichzeitig und untrennbar zusammenwirken und spezifische Arten von Diskriminierung hervorbringen (vgl. „Handbuch zum europäischen Antidiskriminierungsrecht (Ausgabe 2018)“). Ein beispielhafter Fall wäre die Ablehnung einer Bewerberin auf eine offene Arbeitsstelle in der Annahme, sie werde in ihrem Alter bald schwanger und anschließend längerfristig in Elternzeit gehen; hier läge Diskriminierung aufgrund der geschützten Merkmale Geschlecht und Alter vor.
Drittens umfasst Fairness auch den Aspekt „Bias“, was auf Deutsch so viel wie Vorurteil oder Einseitigkeit bedeutet. Die deutsche Aufsicht beschreibt einen Bias in dem 2021 veröffentlichten Beitrag „Big Data und künstliche Intelligenz: Prinzipien für den Einsatz von Algorithmen in Entscheidungsprozessen“ als systematische Verzerrung von Ergebnissen. Der Begriff Bias ist vielschichtig und bezieht sich im einfachsten Fall auf den Datensatz, der als Grundlage für das „Training“ bzw. das Anlernen des Algorithmus dient. Es kann in der Praxis passieren, dass dieser Trainingsdatensatz bestimmte Kundengruppen nicht enthält, zum Beispiel alleinstehende Frauen. In solchen Fällen wäre er nicht repräsentativ für den Kundenstamm eines Unternehmens und kann zu ungewollter Diskriminierung führen, weil der Algorithmus diese Personengruppe nicht adäquat erfassen kann und so Bewertungen ohne entsprechende empirische Basis vornimmt.
In der Literatur finden sich zahlreiche Ansätze, um Fairness in der KI/ML-Modellierung zu erfassen. Oftmals werden dazu Kennzahlen genutzt, welche die Fairness algorithmischer Entscheidungen messen sollen. Problematisch ist, dass jede Kennzahl für eine spezifische Definition von Fairness steht und unterschiedliche Kennzahlen nicht unbedingt kompatibel sind. Ein anderer Ansatz nutzt Algorithmen, um den KI/ML-Algorithmus zu erklären. Diese haben jedoch ihre Tücken: Es ist leicht möglich, Beispiele zu konstruieren, in denen der Algorithmus hochgradig unfair entscheidet, die typischen Erklärbarkeitstools jedoch keinen Hinweis auf diese Diskriminierung geben (siehe Infokasten „Fairness-Metriken und Explainable AI“). In diesen Beispielen würden Werkzeuge der Explainable Artificial Intelligence ein geschütztes Merkmal nicht als wesentlichen Faktor erkennen, jedoch würde der Algorithmus eine Entscheidung auf genau dieser Variable vorschlagen.
Auf einen Blick:Fairness-Metriken und Explainable AI
In der ML-Forschung wurden unterschiedliche Definitionen von Fairness vorgeschlagen. Ein auch in der Praxis häufig verwendeter Ansatz liegt in statistischen Maßen, um zu bewerten, ob Personengruppen gleich bewertet werden. Diese Maße werden häufig als Fairness-Metriken bezeichnet. Es gibt sie in drei wesentlichen Varianten:
- den Vergleich von vorhergesagten Wahrscheinlichkeiten für unterschiedliche Personengruppen,
- den Vergleich vorhergesagter und tatsächlicher Ergebnisse und
- den Vergleich vorhergesagter Wahrscheinlichkeiten vs. tatsächlicher Ergebnisse.
Das einfachste Beispiel für 1) ist die Gruppenfairness. Ein statistisches Klassifikationsverfahren erfüllt diese Definition, wenn Personen mit geschützten und ungeschützten Eigenschaften dieselbe Wahrscheinlichkeit für ein positives Ergebnis haben. Die Literatur diskutiert zahlreiche Fairness-Metriken, die oftmals unterschiedliche Zielsetzungen haben und miteinander inkompatibel sind. Die alleinige Nutzung solcher Ansätze erscheint als nicht geeignet, um Diskriminierungsfreiheit herzustellen.
ML-Methoden können mitunter Zusammenhänge in den Daten „lernen“, die keine reale Grundlage haben. Durch die mangelnde Transparenz des Verfahrens (häufig Blackbox-Eigenschaft genannt) kann dies verborgen bleiben.
Anstelle der detaillierten Nachvollziehbarkeit von Modellberechnungen werden die Erklärbarkeit und Plausibilisierung des gesamten Modellverhaltens bedeutender. Der Begriff der Erklärbarkeit ist vielschichtig, denn Modellierende, Validierende, Aufseherinnen, Aufseher und Nutzende verfügen über unterschiedliche fachliche Hintergründe und haben verschiedene Informationsbedarfe.
Um die Ergebnisse von komplexen Modellen erklären zu können, wurden Techniken der Explainable Artificial Intelligence (XAI) entwickelt. Aus Sicht der Aufsicht sind sie vielversprechend, um die Blackbox-Eigenschaft abzumildern und die Transparenz eines KI-Systems zu steigern. XAI-Techniken können dazu verwendet werden, die Ergebnisse oder die interne Funktionsweise von KI-Systemen für menschliche Benutzer verständlich zu machen. Sie stellen jedoch selbst Modelle mit Annahmen und Schwächen dar. Sie befinden sich vielfach noch in der Erprobungsphase, vor allem für generative KI.
Die Problematik unzureichender Fairness kann sich verstärken, wenn generative Künstliche Intelligenz wie Large Language Models genutzt wird. Wird diese Technologie von Drittanbietern bezogen (der typische Anwendungsfall), so sind sowohl der Trainingsdatensatz als auch die detaillierte Funktionsweise des eingesetzten Modells nur grob bekannt. Dieser Grad an Intransparenz besteht bei herkömmlichen mathematischen Modellen nicht. Denn sie bilden kausale Beziehungen zwischen verschiedenen Inputfaktoren und dem Modellergebnis explizit ab und sind damit besser nachvollziehbar.
BaFin adressiert mögliche Diskriminierung
Die BaFin berücksichtigt mögliche Diskriminierungen, die durch die Automatisierung der Finanzindustrie entstehen können, in ihrer aufsichtlichen Tätigkeit.
Generell ist die Thematik für den Tatbestand der ordnungsgemäßen Geschäftsführung relevant (gemäß § 25a Absatz 1 Satz 1 Kreditwesengesetz, § 23 Absatz 1 Versicherungsaufsichtsgesetz) , d. h. die allgemeinen Governance-Anforderungen gelten auch für Prozesse der KI/ML. Die Unternehmen haben insofern ihre Governance-Prozesse auch in Bezug auf KI/ML anzupassen bzw. zu ergänzen. Damit ist es der BaFin bereits jetzt möglich, ungerechtfertigte Diskriminierung im Kontext von KI/ML aufsichtsrechtlich zu adressieren und deren Einhaltung einzufordern. In der Wohlverhaltensaufsicht erwartet die BaFin von den beaufsichtigten Instituten und Unternehmen, Verantwortlichkeiten klar zu regeln. Dies gilt auch für den Einsatz von KI/ML. Ferner kommt der Sensibilisierung und der Schulung von mit der Entwicklung und dem Einsatz von KI/ML betrauten Mitarbeiterinnen und Mitarbeitern eine hohe Bedeutung zu, um Risiken zu mindern. Darüber hinaus legt die Datenschutzgrundverordnung fest, inwiefern Personen einer automatisierten Entscheidung, dem Profiling, unterworfen werden dürfen (Artikel 22 DSGVO).
Die europäische Verordnung über künstliche Intelligenz (AI Act bzw. KI-Verordnung – siehe Infokasten „Die europäische Verordnung über künstliche Intelligenz“), die am 1. August in Kraft trat, ist ein wichtiger Schritt im rechtlichen Umgang mit den Risiken von Bias in KI-Systemen. Die Verordnung legt umfassende Regeln für KI-Systeme fest, insbesondere für sogenannte Hochrisiko-KI-Systeme, zu denen beispielsweise auch Modelle in der Kreditwürdigkeitsprüfung und Bonitätsbewertung und einige Anwendungen in der Lebens- und Krankenversicherung zählen, um Diskriminierung zu vermeiden und Fairness und Transparenz zu fördern. Dazu gehören Risiko- und Qualitätsmanagement sowie detaillierte Dokumentation und hohe Datenqualitätsstandards. Die KI-Verordnung enthält im Artikel 10 auch spezifische Regelungen zur Minimierung von Bias.
Auf einen Blick:Die europäische Verordnung über künstliche Intelligenz
Am 1. August 2024 ist die europäische Verordnung über künstliche Intelligenz (KI-Verordnung) in Kraft getreten. Die KI-Verordnung ist eine horizontale und sektorübergreifende Regulierung. Sie verfolgt das Ziel, eine menschenzentrierte und vertrauenswürdige KI einzuführen. Die Verordnung definiert einen legalen Rahmen für die Entwicklung, den Einsatz und die Nutzung von KI-Systemen in der Europäischen Union. Der Schutz von Gesundheit, Sicherheit, Grundrechten, Demokratie, Rechtsstaatlichkeit und Umwelt steht im Fokus. Gleichzeitig soll der Rechtsrahmen Innovationen und einen funktionierenden Binnenmarkt unterstützen.
Die KI-Verordnung verfolgt einen risikobasierten Regulierungsansatz. Das bedeutet: Die Eingriffsintensität steigt im Verhältnis zum Risiko der Gefährdung zu schützender Rechtsgüter. Sie sieht vier Risikostufen vor:
- Verbot von KI-Systemen mit unannehmbarem Risiko (beispielsweise soziale Bewertungssysteme (Social Scoring).
- Anforderungen an KI-Systeme mit einem hohen Risiko für die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen. Solche Hochrisiko-KI-Systeme sind auf dem europäischen Markt zugelassen, sofern sie bestimmten vorgeschriebenen Anforderungen genügen. Vorab muss zudem eine Konformitätsbewertung durchgeführt werden.
- Transparenz- und Informationspflichten bestimmter KI-Anwendungen mit begrenztem Risiko, wie beispielsweise Chatbots oder Deepfakes. In diese Risikokategorie fällt auch generative KI, die in der Lage ist, Inhalte wie Texte und Bilder zu erzeugen.
- KI-Systeme ohne Regulierungsbedarf. Darunter fallen Anwendungen wie KI-gestützte Videospiele oder Spamfilter.
Die KI-Verordnung ist auch für den Finanzmarkt relevant. KI-Systeme, die zur Kreditwürdigkeitsprüfung oder Bonitätsbewertung natürlicher Personen und zur Risikobewertung und Preisbildung in Bezug auf natürliche Personen in der Lebens- und Krankenversicherungen eingesetzt werden, gelten als Hochrisiko-KI (HRKI)-Systeme. Die Einstufung dieser Systeme in die HRKI-Stufe beruht vor allem auf den erheblichen Auswirkungen, die solche Anwendungen auf die Lebensgrundlagen der Menschen und deren Grundrechtspositionen haben können. Beispiele sind etwa Zugangsbeschränkungen zur Gesundheitsversorgung oder rechtswidrige Diskriminierung aufgrund persönlicher Merkmale.
Das Europäische Parlament hat am 13. März 2024 der KI-Verordnung zugestimmt. Die Verabschiedung durch den Rat erfolgte am 21. Mai 2024. Am 12. Juli 2024 wurde die KI-Verordnung im Amtsblatt der Europäischen Union veröffentlicht. Sie trat am 1. August 2024 in Kraft und wird in den nächsten zwei Jahren schrittweise zur Anwendung kommen.
Finanzdienstleister müssen ungerechtfertigte Diskriminierung vermeiden
Für die BaFin ist klar: Finanzdienstleister müssen eine ungerechtfertigte Diskriminierung von Kundinnen und Kunden durch den Einsatz von KI/ML vermeiden. Die Unternehmen müssen Überprüfungsprozesse einrichten, um mögliche Diskriminierungsquellen zu identifizieren und Maßnahmen zu deren Beseitigung zu ergreifen. Dabei sind die Grenzen bestehender Verfahren zur Vermeidung ungewollter Diskriminierung zu beachten. Eine zuverlässige und transparente Daten-Governance und Datenverwaltung sind von entscheidender Bedeutung, um eine faire und diskriminierungsfreie Behandlung der Verbraucherinnen und Verbraucher zu gewährleisten.
Darüber hinaus kann eine menschliche Aufsicht erforderlich sein, um einen verantwortungsvollen Betrieb zu gewährleisten, technische Unzulänglichkeiten auszugleichen und Datenlücken zu schließen. Ferner können Unternehmen mit der Wahl des Modells maßgeblich zur Förderung der Transparenz beitragen. Bei vergleichbaren Ergebnissen sind einfache Modelle (z. B. im einfachsten Fall die heute gebräuchliche logistische Regression) den komplexen Blackbox-Methoden vorzuziehen. Sie sind nicht nur leichter zu verstehen und zu interpretieren, sondern ermöglichen auch eine bessere Erkennung von Bias.
Sollten der Einsatz von KI und ML Methoden durch beaufsichtigte Unternehmen zur gesetzlich untersagten Diskriminierung führen, wird die BaFin entschlossen handeln und geeignete Maßnahmen ergreifen, beispielsweise im Rahmen der Missstandsaufsicht.
Die KI Verordnung wird als solides regulatorisches Rahmenwerk dazu beitragen. Die EU-weiten Anforderungen an Erklärbarkeit, Transparenz und Fairness sind darin rechtlich verankert. Es besteht die Chance, dass es europaweit Maßstäbe setzt – für einen effektiven aufsichtlichen Umgang mit ungerechtfertigter Diskriminierung durch KI/ML in der Finanzbranche.
