Künstliche Intelligenz interpretiert die Welt auf ihre eigene Weise – und zementiert damit Vorurteile, Rassismus und Rollenklischees. Das führt die Suche nach der Formel für Gerechtigkeit ad absurdum.
Dieser Emmanuel Macron! Dankt am Abend seines Wahlsieges seinen "amerikanischen Mitbürgern" für ihr Vertrauen! Wer Macrons Tweet vom 7. Mai las, der musste sich wundern – jedenfalls hierzulande und in Amerika. In der automatischen Übersetzung, die Twitter deutschen Nutzern anbot, war von "tiefer Dankbarkeit" gegenüber den "amerikanischen Mitbürgern" die Rede. Auch in den USA wurde Macrons Anrede "mes chers compatriotes" als "my fellow americans" übersetzt. Dabei bedeutet compatriotes im Französischen schlicht "Mitbürger". Über Amerikaner hatte Macron kein Wort verloren. Wie Twitter nur darauf kam?
Das scheinbare Rätsel ist ein Glücksfall. Zumindest für Joanna Bryson. Just drei Wochen zuvor hatte die Spezialistin für maschinelles Lernen von der University of Bath vor solchen Fällen in der Forschungszeitschrift Science gewarnt. In ihrem Artikel hatte Bryson beschrieben, wie sprachverarbeitende Algorithmen lernen, und kritisiert, dass diese dabei die unbewussten (Vor-)Urteile der Menschen übernähmen. Anders gesagt: Auch Künstliche Intelligenz hat Schlagseite. Doch die brisante These vom vorurteilsbeladenen Computer erregte kaum Aufmerksamkeit. Stattdessen schlug Bryson Skepsis entgegen. Wo denn die Beispiele aus dem echten Leben seien, wurde sie immer wieder gefragt – bis zu Macrons Tweet. Seither sind die Kritiker verstummt. "Das ist ein super Beispiel für unsere neueste Forschung über maschinelle Sprachverarbeitung", sagt Bryson.
Zwei Techniken sind es, die auf dramatische Art und Weise die Fähigkeit von Computern verbessert haben, Bilder oder Sprache zu "verstehen". Maschinenlernen (kurz: ML) nennt sich die eine Technik, die darauf hinausläuft, dass Computer sich selbst etwas beibringen, indem sie nach Mustern in großen Datensätze suchen. Die zweite hört auf den Namen tiefe neuronale Netze (deep neural networks, DNN); diese versuchen, die Arbeitsweise des Gehirns mit seinen vielfältigen Verbindungen in einer Software zu imitieren. Beide Techniken laufen darauf hinaus, dass Computer auf ähnliche Art lernen, wie es vermutlich auch Menschen tun. Damit aber, so hat Joanna Bryson zusammen mit der Informatikerin Aylin Caliskan von der Princeton University gezeigt, schnappen die Maschinen auch allerhand typisch menschliche Vorurteile, Stereotypen und diskriminierende Ansichten auf.
"Jetzt sehen wir, dass unsere Forschung Menschen ins Gefängnis bringen kann" Wie genau die neuronalen Netze jeweils zu ihren Schlüssen kommen, lässt sich kaum nachvollziehen. Für Forscher sind sie weitgehend eine "Black Box". Zumindest aber kann man ihnen beim Lernvorgang zusehen. Wird eine Maschine mit Texten gefüttert und soll sich daraus die menschliche Sprache erschließen, geht sie nach Brysons Theorie ganz ähnlich vor wie kleine Kinder: Die lernen keine Definitionen, sondern versuchen, die Bedeutung von Wörtern oder Sätzen aus dem Zusammenhang zu erfassen. Je mehr Vergleichstext vorliegt, desto besser. Für die Maschinen ist dank des Internets der Nachschub quasi endlos – lädt aber auch zu Fehlschlüssen ein. So hätten frühere, regelbasierte Verfahren für Computerdolmetscher etwa das Wort "compatriotes" wörtlich übersetzt (es existiert sogar buchstaben- und sinngleich im Englischen). Dagegen sucht die neue Technik nach einer Bedeutung, indem sie große Datenmengen vergleicht. Sie erzeugt sozusagen Semantik per Statistik. Und statistisch gilt für die Mehrheit aller Präsidentenansprachen: Wenn darin der Satz "Liebe XY, vielen Dank für Ihr Vertrauen" vorkommt, ist mit XY meist die Formulierung "fellow Americans" gemeint, amerikanische Mitbürger. Denn fast jede US-Präsidentenrede beginnt mit dieser Floskel.
Bliebe es bei solch gelegentlichen Kuriositäten, könnte man diese den Maschinen noch nachsehen. Denn insgesamt ist die maschinelle Übersetzung deutlich besser geworden. Aber hier geht es um mehr. Und ein Blick in die Vorurteilsforschung hilft zu verstehen, was an der Sache heikel ist.
Um unbewusste Vorurteile bei Menschen zu untersuchen, bedienen sich Psychologen für gewöhnlich des sogenannten Implicit Associations Tests (IAT). Dieser misst, wie lange ein Proband benötigt, um zwei Begriffe miteinander in Verbindung zu bringen. Kommen ihm deren Bedeutungen ähnlich vor, ist die Reaktionszeit kürzer, als wenn ihm die jeweils dahinterstehenden Konzepte semantisch inkompatibel erscheinen. So assoziieren Menschen etwa Blumennamen eher mit Adjektiven wie "schön" oder "hübsch", Insekten dagegen eher mit negativen Begriffen.
Informatiker können zeigen, dass Maschinen ganz ähnliche Assoziationen produzieren. Sichtbar werden sie im sogenannten Word-to-Vec-Verfahren, das Bryson gewissermaßen als maschinelle Variante des IAT nutzt. Dieses Verfahren ist üblich in der Computerlinguistik, um Semantik zu erfassen: Wörter werden danach sortiert, welche anderen Wörter häufig in ihrem Umfeld auftauchen. Klingt abstrakt? Ein Aufsatz von Forschern der Boston University und von Microsoft Research bringt das Problem schon im Titel auf den Punkt: Man is to Computer Programmer as Woman is to Homemaker – "Mann verhält sich zu Programmierer wie Frau zu Haushaltshilfe". Der im vergangenen Jahr veröffentlichte Aufsatz wird seit Monaten unter Computerlinguisten heftig diskutiert. Zeigt es doch, dass die Algorithmen nach der statistischen Auswertung menschlicher Texte ein altmodisches Rollenbild reproduzieren.
Anhand vieler solcher Beispiele haben Bryson und Caliskan untersucht, wie sich das Weltbild der Maschinen zusammensetzt. Sie fanden dabei unter anderem heraus, dass die Künstliche Intelligenz Blumen ebenso wie europäisch-amerikanische Vornamen mit positiven Begriffen assoziiert, wohingegen Insekten genau wie afro-amerikanische Namen eher mit negativen Begriffen verbunden werden. Die Namen junger Menschen werden eher als angenehm, jene von älteren eher als unangenehm eingestuft. Und vor allem: Männliche Namen werden semantisch automatisch in die Nähe von Karrierebegriffen gerückt, weibliche Namen hingegen eher mit Familie assoziiert. Ebenso wird Mathematik mehr mit Männern in Verbindung gebracht, Kunst mehr mit Frauen – die Maschinen denken also genauso in Rollenklischees wie Menschen.
Nicht nur das ist Aylin Caliskan aufgefallen. Die Informatikerin, die fünf Sprachen spricht, hat auch die oft einseitigen Tendenzen bei Übersetzungen enttarnt. "Mir war sofort klar, dass etwas nicht stimmte", erinnert sie sich. Schon beim ersten Einsatz des Übersetzungsprogramms Google Translate war ihr ein Problem aufgefallen, das bis heute besteht: Die türkische Sprache kennt im Unterschied zu Deutsch oder Englisch keine grammatikalischen Geschlechter. "O bir doktor" kann ebenso "sie ist Ärztin" heißen wie "er ist Arzt". Bei Google Translate aber wird der "doktor" konsequent zum männlichen Arzt, Pflegeberufe hingegen werden stets Frauen zugeschrieben. Dass es auch Krankenpfleger gibt, scheint das Programm nicht zu wissen.
"Schlecht bezahlte Jobs werden Frauen zugeordnet, gut bezahlte Männern", beschreibt Caliskan das maschinelle Muster. Damit reproduzierten die Computer "ein perfektes Abbild unserer Gesellschaft" – und all ihrer Ungleichheiten. Nun stelle man sich vor, eine solche Software helfe zum Beispiel in einer Personalabteilung bei der Vorauswahl von Bewerbern für ein Vorstellungsgespräch. Was, wenn die künstliche Intelligenz alle Bewerberinnen für eine freie Arzt-Stelle von vornherein aussortiert?
Wie schon heute unbewusste Verzerrungen durch Computer verstärkt werden, zeigt beispielhaft das predictive policing, eine Voraussagesoftware für Streifenpolizisten. Auf Basis der Kriminalitätsstatistik geben solche Programme den Beamten Hinweise, in welchen Stadtgebieten sie verstärkt Streife fahren sollten. Auch hier enthält die Statistik kein neutrales Abbild der Wirklichkeit. Gilt etwa eine Gegend Polizisten als heißes Pflaster, werden sie dort verstärkt nach dem Rechten sehen – und damit fast zwangsläufig auch häufiger Straftaten protokollieren. Damit schaffen sie Daten, auf deren Basis die Software in eben diesen Gegenden eine noch größere Polizeipräsenz verlangt – was sich gegenseitig hochschaukelt.
Doch es gibt eine Hoffnung: wenn Algorithmen unbewusste Diskriminierungen verstärken, könnten sie uns nicht auch helfen, diese zu erkennen? Die Herausforderung ist nur, diese Verzerrung auch zu bemerken. Die Forscher arbeiten bereits an Methoden, mit denen man aus der Blackbox zumindest eines auslesen kann: Welche Faktoren ein Algorithmus besonders stark gewichtet. Ist etwa die Hautfarbe der zentrale Faktor, wenn ein Computer Polizisten vorschlägt, einen Menschen zu kontrollieren?
Solche Verzerrungen, das weiß man, schleichen sich auch in die Bilderkennung ein. Wer zum Beispiel bei Google nach Fotos zu dem Begriff "Hände" sucht, erhält vor allem Bilder von weißen Händen; und in einem Schönheitswettbewerb, bei dem der Computer Vor-Juror spielen durfte, landeten nur weiße Kandidatinnen in der Endauswahl.
"Neu ist, dass immer mehr von diesen peinlichen, ärgerlichen Dingen passieren", sagt der Informatiker Suresh Venkatasubramanian von der University of Utah. Seit mehr als zehn Jahren beschäftigt er sich mit der Frage, wie die Entscheidungen von Algorithmen zuverlässiger werden können. "Solche Probleme tauchen gerade überall auf", sagt er. So erkannte eine Software der neuseeländischen Passbehörde keine asiatischen Pässe an, da der Algorithmus die mandelförmigen Augenlider der Abgebildeten als geschlossen einstufte. Im Jahr 2015 hatte die damals neue automatische Bilderkennungsfunktion der Google-Photo-App ein Bild mit zwei dunkelhäutigen Menschen als "Gorillas" etikettiert. Der Fall machte Schlagzeilen, der Konzern entschuldigte sich prompt.
"Lange Zeit dachten wir, wir spielen ein Spiel", sagt Venkatasubramanian, vieles wurde ja nur im Labor erprobt. "Aber jetzt sehen wir, dass unsere Forschung Menschen ins Gefängnis bringen kann." In USA etwa errechnete die Software Compas, die dort seit Jahren routinemäßig zur Risikobewertung Straffälliger eingesetzt wird, dass die Hautfarbe der entscheidende Faktor für Kriminalität sein müsse: schließlich hatten Richter in der Vergangenheit Farbige zu längeren Haftstrafen verurteilt. Folgerichtig schlug die künstliche Intelligenz Richtern vor, Schwarze auch künftig härter zu bestrafen.
"Die Verzerrung in den Daten ist historisch, das ist unsere Kultur"
"Wir haben diese Tools in die Welt gebracht, ich fühle mich jetzt auch verantwortlich dafür", sagt Venkatasubramanian. Er ist Mitbegründer einer neuen Bewegung in der Informatik für "Fairness, Rechenschaft und Transparenz beim Maschinellen Lernen" (www.fatml.org). Zunächst verfolgten die Initiatoren die Idee, sämtliche Verzerrungen aus jenen Daten zu löschen, mit denen die Maschinen trainieren, mit denen die neuronalen Netzwerke sozusagen geeicht werden. Damit der Algorithmus keine Vorurteile über Hautfarben oder Geschlechter lernt, könnte man diese Merkmale ja entfernen. Doch die Idee wurde schnell verworfen. "Viele Variablen kodieren andere Variablen", sagt Sorelle Friedler vom Haverford College in Philadelphia, eine Mitstreiterin von Venkatasubramanian.
So hatten Rechercheure von ProPublica zeigen können, dass die Gerichts-Software Compas die Hautfarbe eines Straffälligen aus Drittvariablen, etwa dem Wohnort und dem Namen, errechnet hatte. Friedler betont: "Man kann nicht alle Attribute löschen, die möglicherweise zu Diskriminierung führen könnten, denn dann müsste man fast alle Daten löschen." Zumal uns Menschen vieles davon gar nicht bewusst ist. Vorurteils-Jägerin Joanna Bryson drückt es so aus: "Die Verzerrung in den Daten ist historisch, das ist unsere Kultur."
Das aber ist nichts, was eine KI plausiblermaßen selbst herausfinden kann. Denn Vorurteile, Verzerrungen und Ungerechtigkeiten erkennt erst, wer den Status Quo an einem gesellschaftlichen Ideal misst. Das müssten Menschen den Maschinen zuerst einmal vermitteln – in eindeutigen mathematischen Formeln. Was fehlt, sind also Formeln für Gerechtigkeit. Nur: Wie sollen die aussehen? Nehmen wir als Beispiel ein relativ simples, nämlich jenes, dass Männer und Frauen auf dem Arbeitsmarkt gleiche Chancen haben sollen. Klingt ziemlich unstrittig. Doch woran soll ein Algorithmus "gleiche Chancen" erkennen? Ist jede Gruppe ungleich, in der Frauen und Männer nicht fifty-fifty sind? Noch einen Schritt weiter gedacht: Wie illusorisch erscheint es, soziale Verzerrungen algorithmisch ausgleichen zu sollen? Sollte zum Beispiel eine Software, die Bewerber automatisch für ein Vorstellungsgespräch auswählt, darauf achten, dass Männer und Frauen in der Auswahl genau gleich verteilt sind? Oder sollte sie sich an der Geschlechterverteilung aller Bewerbungen orientieren? Oder das Geschlecht gänzlich ausblenden? Und welche Faktoren müssten für eine gerechte Verteilung ebenfalls bedacht werden? Qualifikation? Hautfarbe? Alter? – So schnell zerrinnt das vermeintlich simple Beispiel in einer langen Liste von Fragen.
Nur ein wohldefiniertes Problem lasse sich auch in eine Formel gießen, sagt der kritische Informatiker Suresh Venkatasubramanian. Aber was sei Gerechtigkeit? "Wenn du fünf Politiker oder Philosophen fragst", stöhnt Venkatasubramanian, "bekommst du fünf verschiedene Antworten". Wie erklärt man das nun bitte einer künstlichen Intelligenz?