Coded Bias: Wenn der Computer Vorurteile hat

Diskriminierungserfahrungen sind für viele Menschen alltäglich. Egal, ob auf Grund der Hautfarbe, des Geschlechts, einer Behinderung, des Alters oder eines anderen Faktors: Diskriminierung, bewusst oder unbewusst, schränkt das Leben der Betroffenen stark ein.

Ein prominentes Beispiel aus dem Arbeitsmarkt lieferte 2016 eine Studie des Bonner Instituts zur Zukunft der Arbeit. Diese fand heraus, dass eine fiktive Kopftuchträgerin mit türkisch-klingendem Namen bei gleicher Qualifikation bis zu 7,6 Mal so viele Bewerbungen senden muss wie eine Frau mit vermeintlich deutschem Namen und ohne Kopftuch, um zu einem Bewerbungsgespräch eingeladen zu werden.  

Algorithmen als Lösung? 

Eine naheliegende Lösung war, Entscheidungen nicht mehr Menschen mit ihrer Voreingenommenheit treffen zu lassen, sondern Entscheidungsfindungen zu automatisieren. Dieser Vorgang wird als algorithmic decision making (= algorithmische Entscheidungsfindung), kurz ADM, bezeichnet und ist in vielen Bereichen bereits Standard.  

Zahlreiche Fälle zeigen jedoch, dass auch Algorithmen nicht frei von Vorurteilen sind. Das nennt sich Coded Bias (engl. coded = programmiert und bias = für Vorurteil bzw. der wissenschaftliche Fachausdruck für Verzerrungen und Fehler in Datensätzen). 

Amazon stellte z. B. fest, dass das eigens entwickelte Recruitment-Tool männliche Bewerber bevorzugte. Bewerbungen, die Worte wie „Frauenschachclub“ enthielten, wurden häufig aussortiert. Frauen wurden nur auf Grundlage ihres Geschlechts als weniger geeignet eingestuft.

Coded Bias betrifft aber nicht nur den Bewerbungsmarkt. ADM-Prozesse finden mittlerweile in allen möglichen Bereichen Anwendung. So entscheidet Facebook auf Grundlage von Titeln und Bildern, wer welche Anzeigen zu Gesicht bekommt. Das Stellenangebot für ein*e LKW-Fahrer*in wurde nur zu 7,7 % Frauen angezeigt, das für eine Erzieher*in jedoch zu 96,2 % Frauen.  

Besonders gefährlich wird es bei der Anwendung von Algorithmen im medizinischen Bereich: Manche Programme stufen das Risiko von Besonders gefährlich wird es bei der Anwendung von Algorithmen im medizinischen Bereich: Manche Programme stufen das Risiko von Herzversagen oder Nierensteinen bei Schwarzen Menschen automatisch als geringer ein – nur auf Grundlage der Hautfarbe. Das führt dazu, dass sie länger auf Behandlungen warten müssen oder nicht richtig behandelt werden.

Coded Bias – Wie kommt der Fehler in die Matrix? 

Diskriminierende Algorithmen können auf den verschiedensten Wegen zustande kommen. Das Beispiel der medizinischen Risikobewertung zeigt, dass sich Diskriminierung schon bei der Programmierung einschleichen kann: Auf Grundlage umstrittener Studien wurde entschieden, dass die Hautfarbe eine relevante Bewertungskategorie sei. Viele diskriminierende Muster entstehen im nächsten Schritt, dem Training des Algorithmus. Ein Gesichtserkennungsprogramm soll lernen, Gesichter zu erkennen und von anderen Objekten zu unterscheiden. Dafür wird es mit massenhaften Daten gefüttert. Das können zum Beispiel Fotos sein. Wenn diese Datensätze nicht divers sind, beispielsweise nur weiße Gesichter enthalten, dann lernt der Algorithmus nur, ebendiese Gesichter zu erkennen.

Oft verstärken Algorithmen auch bereits bestehende Diskriminierung. Das eingangs erwähnte Amazon-Recruitment-Tool wurde mit früheren Bewerbungen trainiert. Diese stammten überwiegend von Männern, woraufhin diese als geeigneter eingestuft wurden. Die Geschlechterungleichheit im Tech-Bereich wurde so vom Algorithmus nicht nur erkannt, sondern reproduziert. Werden durch dieses männerbevorzugende Recruitment-Tool nun wirklich mehr Männer eingestellt, bestätigt sich der Algorithmus selbst. So dreht sich die Spirale der Diskriminierung immer weiter.  

Den Algorithmen trotzen

Dass man diese Form der Diskriminierung nicht hinnehmen muss, zeigt die Schwarze Informatikerin und Aktivistin Joy Buolamwini. Auch sie musste eine diskriminierende Erfahrung mit Algorithmen machen. Während ihres Studiums stellte sie fest, dass die Gesichtserkennungssoftware von Webcams und Robotern bei ihr nicht funktionierte, bei ihren weißen Mitstudierendenden hingegen schon. Dieses Problem blieb jedoch kein Einzelfall, sondern stellte sich als weitverbreitet heraus, da viele Kameras mit der gleichen, mangelhaften Software ausgestattet waren. Um auf algorithmische Diskriminierung aufmerksam zu machen und dagegen vorzugehen, gründete Buolamwini die Algorithmic Justice League. Der Dokumentationsfilm „Coded Bias“ folgt ihrer Arbeit und legt schockierende Fälle von „Bias“ in alltäglichen Technologien offen. 

Das deutsche Pendant zur Algorithmic Justice League ist AlgorithmWatch. Die 2017 gegründete NGO mit Sitz in Berlin überwacht die Entwicklung von ADM-Prozessen, macht diese komplexen Sachverhalte für die breite Öffentlichkeit verständlich und versucht, diese fair mitzugestalten.  

Mögliche Schritte zu einem gerechten Einsatz von Algorithmen können sein, diese zu kennzeichnen und die verwendeten Datensätze und Codes offenzulegen. Diese radikale Transparenz macht scheinbar zufällige Entscheidungen verständlich und ermöglicht es Organisationen wie AlgorithmWatch, Bias in den Algorithmen zu erkennen und aufzuzeigen. Damit es möglichst gar nicht erst dazu kommt, dass fehlerhafter Code zur Anwendung kommt, braucht es verpflichtende Regeln und unabhängige Kontrollen. Nur so kann gewährleistet werden, dass wirklich alle von den Möglichkeiten der Technik profitieren können.  

Da dieser Prozess Jahre dauern wird, müssen wir uns immer wieder bewusst machen, dass Algorithmen ähnlich voreingenommen sind wie Menschen. Bestimmte Körper, Hautfarben oder Geschlechter werden durch den Coded Bias unterdrückt, diskriminiert oder sogar ganz von Plattformen verbannt. Dass digital nur ein Teil der Realität dargestellt wird, können wir uns immer wieder bewusst machen, Suchergebnisse und Feed-Empfehlungen z. B. hinterfragen und Plattformen wie Anbieter kontaktieren, wenn wir Diskriminierung wahrnehmen. 

Titelbild: Scopio Gili Dailes