KI Bias, Fairness und Metriken

Wenn wir über KI sprechen, müssen wir auch über AI Bias (KI Verzerrungen) sprechen. Er tritt auf, wenn Trainingsdaten gesellschaftliche Ungleichheiten widerspiegeln oder bestimmte Gruppen unzureichend repräsentieren. Das heisst alte Vorurteile werden verfestigt, unbemerkt Fehlentscheidungen getroffen und so Personen oder Personengruppen diskriminiert und benachteiligt. Die Folgen sind keine abstrakten Fehlerquoten, sondern echte Nachteile für echte Menschen. Über Diskriminierung in der Personalauswahl, bei der Kreditvergabe oder im Predictive Policing habe ich bereits berichtet. Beispielhaft möchte ich hier noch eine umfassende Analyse von Bloomberg (2023) nennen, die zeigte wie Bildgeneratoren wie Stable Diffusion extreme Stereotype verstärken. Bei Begriffen wie „Arzt“ oder „Richter“ generierte die KI fast ausschließlich Bilder von hellhäutigen Männern. Frauen und Menschen mit dunklerer Hautfarbe wurden hingegen überproportional häufig dargestellt, wenn die KI Bilder zu „niedrig bezahlten Jobs“ oder kriminalitätsbezogenen Begriffen erzeugen sollte.

KI ist zweifellos eine ambivalente Technologie: Sie kann bestehende Ungleichheiten verstärken, wenn sie unkritisch eingesetzt wird, oder aber ein Werkzeug sein, das Gerechtigkeit fördert – vorausgesetzt, sie wird verantwortungsvoll gestaltet. Der Schlüssel liegt darin, die Risiken zu erkennen und gleichzeitig ihre positiven Potenziale systematisch zu erschließen. Doch wie kann die Gesellschaft die Möglichkeiten der KI nutzen und gleichzeitig ihre Risiken mindern, um sicherzustellen, dass die Technologie allen zugute kommt und Ungleichheiten nicht noch verschärft werden?

Richtig eingesetzt, kann AI Diskriminierung sichtbar machen, die in menschlichen Entscheidungsprozessen oft verborgen bleibt. So können Algorithmen Muster in historischen Daten aufdecken, die auf geschlechtsspezifische oder ethnische Benachteiligungen hinweisen – ein erster Schritt, um Gegenmaßnahmen einzuleiten. Zudem ermöglicht AI eine größere Konsistenz in Entscheidungen: Wo menschliche Urteile schwanken, kann AI durch standardisierte Verfahren für mehr Vergleichbarkeit sorgen. Auch Transparenz und Nachvollziehbarkeit sind zentrale Potenziale, etwa durch erklärbare Modelle, die Entscheidungskriterien offenlegen und so Vertrauen schaffen.

Das Dilemma der Fairness: Wenn Mathematik auf Moral trifft

Wenn wir fordern, dass eine KI „fair“ sein soll, klingt das selbstverständlich. Doch technisch gesehen ist Fairness ein Minenfeld. Es gibt unterschiedliche Metriken, um Fairness zu messen – und oft stehen sie in direktem Konflikt zueinander. Man kann mathematisch beweisen, dass man nicht alle Fairness-Ziele gleichzeitig erreichen kann.

Hier ein Überblick über die wichtigsten Fairness-Metriken in der Praxis:

1. Demographic Parity (Gleiche Quote)

Eine der einfachsten Definitionen besagt: eine Entscheidung, etwa die Vergabe von Krediten, sollte unabhängig von Merkmalen wie Geschlecht oder Hautfarbe in gleicher Häufigkeit erfolgen. Wenn 60 % aller Antragsteller:innen einen Kredit erhalten, sollten es auch in jeder Subgruppe etwa 60 % sein. Klingt fair – und doch zeigt die Realität, wie schwierig das ist. In den 1970er Jahren wurde in den USA die sogenannte „Four-Fifths Rule“ eingeführt: Minderheitengruppen sollten mindestens 80 % des Outcomes der Mehrheitsgruppe erreichen. Diese Regel wurde etwa in Einstellungsverfahren angewendet, um Diskriminierung sichtbar zu machen. Allerdings kritisieren Ökonom:innen, dass soziostrukturelle Unterschiede – etwa beim Einkommen oder beim Bildungshintergrund – dabei unberücksichtigt bleiben und zu Verzerrungen führen können.

• Die Idee: Wenn 60% aller Männer positiv bewertet werden, sollen auch 60% der Frauen positiv bewertet werden.
• Die Kritik: Ökonomen warnen, dass soziostrukturelle Unterschiede ignoriert werden, was die Risikobewertung verzerren kann.

2. Equal Opportunity (Chancengleichheit)

Ein anderer Ansatz rückt die Berechtigten in den Fokus: alle, die objektiv qualifiziert sind, sollten die gleiche Chance auf ein positives Ergebnis haben. Im Recruiting bedeutet das: Wenn zwei Bewerber:innen gleich qualifiziert sind, darf ihr Geschlecht keinen Unterschied machen. Das erinnert an die Diskussion um anonyme Bewerbungen in Deutschland, wo Namen und Fotos entfernt wurden, um unbewusste Vorurteile zu umgehen. Beispiele dafür sind Pilotprojekte zu anonymisierten Bewerbungen in Deutschland (2010–2011), die gezeigt haben, dass Frauen und Bewerber:innen mit Migrationshintergrund deutlich häufiger eingeladen wurden, wenn Name und Foto entfernt waren. Auch Bertrand & Mullainathan (2004) belegten in den USA, dass Bewerber mit ‚weiß klingenden‘ Namen signifikant bessere Chancen hatten als solche mit afroamerikanischen Namen – obwohl die Qualifikationen identisch waren.

• Idee: Der Fokus liegt auf der Qualifikation: Wer objektiv geeignet ist, soll die gleiche Chance haben – unabhängig von der Gruppenzugehörigkeit.

3. Equalized Odds (Fehlergerechtigkeit)

Noch anspruchsvoller ist die Forderung, dass auch die Fehler – also False Positives und False Negatives – gleich verteilt sein sollen. Ein Beispiel findet sich in der Strafjustiz: Die umstrittene Software COMPAS in den USA sagte bei People of Color häufiger eine Rückfallgefahr voraus, auch wenn dies nicht zutraf (höhere False-Positive-Rate). Studien von ProPublica aus dem Jahr 2016 machten diesen Bias bekannt und führten zu heftigen Debatten über algorithmische Diskriminierung. Equalized Odds würde genau solche Fehlergerechtigkeit zwischen Gruppen einfordern. Ein prominentes Beispiel ist die Analyse von ProPublica (2016), die zeigte, dass das COMPAS-System bei People of Color doppelt so häufig fälschlich eine hohe Rückfallgefahr prognostizierte – ein klassischer Verstoß gegen Equalized Odds.

• Idee: Auch die Fehler der KI (z. B. falsche Verdächtigungen) müssen gleich verteilt sein.
• Das Negativ-Beispiel: Die Software COMPAS verletzte genau dieses Prinzip im Justizsystem, wie ich im Beitrag zu Predictive Policing detailliert analysiert habe.

4. Predictive Parity (Verlässlichkeit)

Bei dieser Metrik geht es um die Zuverlässigkeit von Vorhersagen. Wenn ein Modell 70 % Rückfallwahrscheinlichkeit prognostiziert, dann sollte diese Wahrscheinlichkeit unabhängig von Hautfarbe oder Geschlecht gleich zuverlässig sein. Klingt plausibel – doch genau das war bei COMPAS nicht der Fall: Während die Fehlerquote bei weißen Angeklagten ganz anders verteilt war als bei People of Color, widersprach dies der Forderung nach Predictive Parity. So entstand ein mathematischer Zielkonflikt: Man kann nicht gleichzeitig Equalized Odds und Predictive Parity erfüllen.

• Idee: Ein Vorhersagewert (z. B. „70% Risiko“) soll für alle Gruppen gleichermaßen zutreffen.
• Der Konflikt: Man kann mathematisch oft nicht gleichzeitig Predictive Parity und Equalized Odds erfüllen. Wir müssen also entscheiden: Was ist uns wichtiger? Gleiche Trefferquote oder gleiche Fehlerverteilung?

Vom Prinzip zur Praxis: Frameworks für bessere KI

Diese Beispiele machen deutlich: Fairness ist nicht nur eine technische, sondern auch eine normative Entscheidung. Fairness-Metriken sind somit Werkzeuge, die systematische Ungleichheiten sichtbar machen. Oft sind die verschiedenen Metriken mathematisch unvereinbar – man kann nicht alles gleichzeitig haben. Daher müssen Gesellschaft, Politik und Organisationen entscheiden, welche Art von Fairness in welchem Kontext Vorrang haben soll. In der Strafjustiz etwa steht oft „Equalized Odds“ im Vordergrund, während in der Kreditvergabe „Predictive Parity“ relevanter ist.

Gleichzeitig ist klar, dass Technik allein nicht genügt. AI-Systeme brauchen Rahmenbedingungen: faire Trainingsdaten, regelmäßige Audits, klare regulatorische Standards (wie im EU AI Act) und vor allem menschliche Aufsicht, die normative Entscheidungen verantwortet. Nur so lässt sich vermeiden, dass AI als „Black Box“ soziale Vorurteile verschärft. Stattdessen kann sie ein Korrektiv sein, wenn sie systematisch Bias misst, sichtbar macht und kontinuierlich überwacht wird.

Für die Gesellschaft bedeutet das: AI darf nicht nur als Effizienzwerkzeug verstanden werden, sondern als Gestaltungsaufgabe, die Ethik, Recht und Technik verbindet. Wenn wir sie bewusst so einsetzen, kann sie gerade in hochsensiblen Bereichen – wie Recruiting, Strafjustiz oder Kreditvergabe – dazu beitragen, faire Chancen zu fördern, anstatt Ungleichheiten zu reproduzieren.

Um aus der Theorie in die Praxis zu kommen, brauchen wir aber klare Leitplanken. Das FUTURE-AI Framework, das ich bereits vorgestellt habe, liefert hier wichtige Impulse für den Gesundheitssektor. Doch für Unternehmen, die KI heute breit skalieren wollen, rückt ein internationaler Standard in den Fokus:

ISO/IEC 42001 (Artificial Intelligence Management System)

Dies ist der erste internationale Standard, unter dem sich Organisationen zertifizieren lassen können. Er betrachtet KI nicht nur als technisches Tool, sondern fordert ein ganzheitliches Managementsystem (AIMS).
Zentrale Säulen sind:

1. KI-Richtlinien und Kompetenzaufbau: Zugewiesene Rollen und Verantwortlichkeiten, Ethische Standards, Schulungen
2. Risikomanagement Human Oversight: Systematische Bewertung von Gefahren (z. B. Diskriminierung) vor dem Einsatz.
3. Transparenz und Nachvollziehbarkeit: Klare Dokumentation, wie Entscheidungen zustande kommen.
4. Kontinuierliche Verbesserung: KI ist nie „fertig“, sondern muss laufend überwacht werden.

Zum Thema ISO 42001, und wie man wirksame AIMS (Artificial Intelligence Management Systems) implementiert, werde ich einen eigenen Artikel demnächst verfassen.

Fazit: Vertrauen ist gut, Kontrolle (Prüfung) ist besser

Wie können wir die Fähigkeiten der KI nutzen, ohne Ungleichheiten zu verschärfen? Die Antwort liegt in der Professionalisierung der Verantwortung.

Wir müssen aufhören, KI-Entscheidungen blind zu vertrauen. Hier kommt es nämlich zum bekannten menschlichen bzw. Human Bias, dem Automation Bias. Gemüt ist die menschliche Tendenz, maschinellen Vorschlägen fast automatisch mehr Glauben zu schenken als dem eigenen Urteil. Auch deshalb befinde ich mich aktuell intensiv in der Zertifizierung zur KI-Auditorin (TÜV). Denn nur wenn wir Standards wie die ISO 42001 nicht nur aufschreiben, sondern ihre Einhaltung auch unabhängig prüfen, wird aus „Ethik“ echte Qualitätssicherung.

Richtig eingesetzt und auditiert, kann KI Diskriminierung sogar sichtbar machen, statt sie nur zu reproduzieren. Wenn wir sie mit klaren Prinzipien und kritischer Prüfung gestalten, wird sie zu einem Werkzeug für mehr Chancengerechtigkeit.