fbpx

Coded Bias: Wenn der Computer Vorurteile hat

Diskriminierungserfahrungen sind für viele Menschen alltäglich. Egal ob auf Grund der Hautfarbe, des Geschlechts, einer Behinderung, des Alters oder einem anderen Faktor: Diskriminierung, egal ob bewusst oder unbewusst, schränkt das Leben der Betroffenen stark ein. Ein prominentes Beispiel aus dem Arbeitsmarkt lieferte 2016 eine Studie des Bonner Institut zur Zukunft der Arbeit. Diese fand heraus, dass eine fiktive Kopftuchträgerin mit türkisch-klingendem Namen bei gleicher Qualifikation bis zu 7,6 Mal so viele Bewerbungen senden muss wie eine Frau mit vermeintlich deutschem Namen und ohne Kopftuch, um zu einem Bewerbungsgespräch eingeladen zu werden. 

Daten lügen nicht – oder doch? 

Mit fortschreitenden technologischen Möglichkeiten scheint die Lösung darin zu liegen, den Menschen mit seiner Voreingenommenheit aus der Gleichung zu entfernen und Entscheidungsfindungen zu automatisieren. Dieser Vorgang wird als algorithmic decision making (= algorithmische Entscheidungsfindung), kurz ADM bezeichnet und ist in vielen Bereichen bereits Standard. Zahlreiche Fälle zeigen jedoch, dass auch Algorithmen nicht frei von Vorurteilen sind. Um beim Beispiel der Bewerbungen zu bleiben: 2015 stellte Amazon fest, dass das eigens entwickelte Recruitment-Tool männliche Bewerber bevorzugte. Bewerbungen, die Worte wie “Frauenschachclub” enthielten, wurden häufig aussortiert. Frauen wurden nur auf Grundlage ihres Geschlechts als weniger geeignet eingestuft

ADM-Prozesse finden mittlerweile in allen möglichen Bereichen Anwendung: Facebook entscheidet auf Grundlage von Titeln und Bildern, wer welche Anzeigen zu Gesicht bekommt. Das Stellenangebot für ein*e LKW-Fahrer*in wurde nur 7,7% Frauen angezeigt, das für eine Erzieher*in jedoch 96,2% Frauen. Besonders gefährlich wird es bei der Anwendung von Algorithmen im medizinischen Bereich: Manche Programme stufen das Risiko von Herzversagen oder Nierensteinen bei Schwarzen Menschen automatisch als geringer ein – nur auf Grundlage der Hautfarbe. Das führt dazu, dass sie länger auf Behandlungen warten müssen oder nicht richtig behandelt werden. 

Coded Bias – Wie kommt der Fehler in die Matrix? 

Diskriminierende Algorithmen können auf den verschiedensten Wegen zustande kommen. Das Beispiel der medizinischen Risikobewertung zeigt, dass sich Diskriminierung schon bei der Programmierung einschleichen kann: Auf Grundlage umstrittener Studien wurde entschieden, dass die Hautfarbe eine relevante Bewertungskategorie sei. Viele diskriminierende Muster entstehen im nächsten Schritt, dem Training des Algorithmus. Ein Gesichtserkennungsprogramm soll lernen, Gesichter zu erkennen und von anderen Objekten zu unterscheiden. Dafür wird es mit massenhaften Daten gefüttert. Das können zum Beispiel Fotos sein. Wenn diese Datensätze nicht divers sind, beispielsweise nur weiße Gesichter enthalten, dann lernt der Algorithmus nur, ebendiese Gesichter zu erkennen. 

Oft verstärken Algorithmen auch bereits bestehende Diskriminierung. Das eingangs erwähnte Amazon Recruitment-Tool wurde mit früheren Bewerbungen trainiert. Diese stammten überwiegend von Männern, woraufhin diese als geeigneter eingestuft wurden. Die Geschlechterungleichheit im Tech-Bereich wurde so vom Algorithmus nicht nur erkannt, sondern reproduziert. Werden durch dieses männerbevorzugende Recruitment-Tool nun wirklich mehr Männer eingestellt, bestätigt sich der Algorithmus selbst. So dreht sich die Spirale der Diskriminierung immer weiter. 

Data Justice – Datengerechtigkeit 

Dass man diese Form der Diskriminierung nicht hinnehmen muss, zeigt die Schwarze Informatikerin und Aktivistin Joy Buolamwini. Auch sie musste eine diskriminierende Erfahrung mit Algorithmen machen. Während ihres Studiums stellte sie fest, dass die Gesichtserkennungssoftware von Webcams und Robotern bei ihr nicht funktionierte, bei ihren weißen Mitstudierendenden hingegen schon. Dieses Problem blieb jedoch kein Einzelfall, sondern stellte sich als weitverbreitet heraus, da viele Kameras mit der gleichen, mangelhaften Software ausgestattet waren. Um auf algorithmische Diskriminierung Aufmerksam zu machen und dagegen vorzugehen, gründete Buolamwini die Algorithmic Justice League. Vor kurzem erschien der Dokumentationsfilm „Coded Bias“, der ihrer Arbeit folgt und schockierende Fälle von „Bias“ (engl. für Vorurteil, aber auch der wissenschaftliche Fachausdruck für Verzerrungen und Fehler in Datensätzen) in alltäglichen Technologien offenlegt.

Vimeo

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von Vimeo.
Mehr erfahren

Video laden

Das deutsche Pendant zur Algorithmic Justice League ist AlgorithmWatch. Die 2017 gegründete NGO mit Sitz in Berlin überwacht die Entwicklung von ADM-Prozessen, macht diese komplexen Sachverhalte für die breite Öffentlichkeit verständlich und versucht, diese fair mitzugestalten. Mögliche Schritte zu einem gerechten Einsatz von Algorithmen können sein, diese zu kennzeichnen und die verwendeten Datensätze und Codes offenzulegen. Diese radikale Transparenz macht scheinbar zufällige Entscheidungen verständlich und ermöglicht es Organisationen wie AlgorithmWatch Bias in den Algorithmen zu erkennen und aufzuzeigen. Damit es möglichst gar nicht erst dazu kommt, dass fehlerhafter Code zur Anwendung kommt, braucht es verpflichtende Regeln und unabhängige Kontrollen. Nur so kann gewährleistet werden, dass wirklich alle von den Möglichkeiten der Technik profitieren können. 

HateAid hilft bei Diskriminierung 

Es ist wichtig zu wissen, wie und wo Menschen zu kurz kommen, denn Aufklärung und Information sind der erste Schritt zu einem sicheren Netz für alle. HateAid setzt sich jeden Tag für deine Rechte im Netz ein. Bei Diskriminierung durch andere Menschen können wir dir helfen. Denn dann liegen häufig Straftaten vor, z. B. Beleidigung, üble Nachrede oder Volksverhetzung. Wir können dich beraten und dich mit einer Prozesskostenfinanzierung dabei unterstützen, die Täter*innen zur Rechenschaft zu ziehen. Das Grundgesetz gilt auch im Internet! 

Du hilfst Betroffenen! 

Du möchtest uns helfen, anderen zu helfen? Super! Unsere Betroffenenberatung ist für alle kostenlos, die sie brauchen und soll es auch in Zukunft bleiben. Mit einer kleinen Spende hilfst du uns dabei, dies zu gewährleisten. Und tust nebenbei etwas für dein Karma 😉 Hier geht’s zu unserem Spendenformular.

Hoch