Spektrum.de/Spektrum der Wissenschaft, 17. Januar 2017 - Link
Aktuelle Aktivitäten gegen Fakenews konzentrieren sich vorallem darauf, unseriöse Quellen automatisch zu erkennen. Aber können Algorithmen Falschmeldungen an sich identifizieren? Es schien zeitweise so, als habe die Wissenschaft das schon zu den Akten gelegt. Aber eine Wette und ein Streit unter Forschern gibt neue Hoffnung.
Ende 2016 ächzte die Welt unter dem Problem der Fakenews – und 2017 wird das Problem aller Voraussicht nach nicht kleiner. Angesichts des anstehenden Bundestagswahlkampfs könnte es in Deutschland gar eine größere Dimension bekommen. Da ist eine Hoffnung nicht unberechtigt: Wie schön wäre es, wenn Computer die Welt von Falschmeldungen befreien könnten! Schließlich haben die Algorithmen unter anderem von Facebook Fakenews erst groß werden lassen. Doch während manche daran arbeiten, seriöse Quellen von unseriösen maschinell zu unterscheiden, warnen andere: das ist zu spät, so werden wir dem Phänomen nicht Herr. „Das Problem an seiner Quelle zu fassen ist in diesem Fall nicht die beste Strategie“, sagt Victoria Rubin, Associate Professor an der University of Western Ontario: dafür verbreiten sich Fakenews zu schnell. Zudem gibt es ständig neue Quellen und neue Webseiten, die Falschmeldungen produzieren – hat man eine identifiziert, gitb es bereits zehn neue.
Lässt sich nicht eine Art maschinelles „Gegengift“ gegen das Lügen an sich entwickeln, Algorithmen, die Falschmeldungen als solche erkennen und Menschen warnen? Wer Computerlinguisten fragt, erhält oft ein Stöhnen zur Antwort: Themen, ja, die können Maschinen gut erkennen. Aber eine Bewertung, eine Meinung, einen Kontext? Damit hat die Forschung noch zu kämpfen. Schon beim zweiten großen Thema des Jahres 2016, Hatespeech, hatten sich verschiedene Experten darum bemüht, den Hass auf sozialen Netzwerken und in Kommentarspalten automatisch auszufiltern – aber deren Algorithmen erwischten häufig die Falschen: diejenigen, die dem Hass widersprachen. Sie erkannten das Thema, aber versagten am Kontext.
Da fühlte sich Dean Pomerleau auf der sicheren Seite, als er vor einigen Wochen eine Wette auf Twitter ausrief (https://twitter.com/deanpomerleau/status/803692511906635777): Wetten ihr schafft es nicht einen Algorithmus zu schreiben, der zwischen falschen und richtigen Behauptungen unterscheiden kann? 1000 Dollar setzte der Professor für Künstliche Intelligenz der Carnegie Mellon University auf seine Wette. Einige Tage später legte Delip Rao nochmal 1000 Dollar drauf, offenbar auch wenig überzeugt von den Chancen der Algorithmen: der Maschinenlernexperte hat unter anderem das Spracherkennungssystem von Amazons Echo mit entwickelt. Die Wette hat scheinbar den Ehrgeiz der Community geweckt: auf der eigens für die Wette angelegten Homepage „Fake News Challenge“ (http://www.fakenewschallenge.org/) haben sich bereits 66 Teams registriert, die die Herausforderung annehmen wollen, einen entsprechenden Algorithmus innerhlab von sechs Monaten zu schreiben. Die Trainingsdaten stellt Pomerleau, sie bestehen aus falschen und richtigen Meldungen, die entsprechend gekennzeichnet sind. Aufgabe ist es, ein System zu entwickeln, dass maximal zehn Prozent falsch negative und falsch positive Zuordnungen macht. Es dürfen also nicht mehr als zehn Prozent wahre Behauptungen als falsche eingeordnet werden und andersherum.
„Sie werden versagen“, unkt schon jetzt das US-Magazin „Wired“. https://www.wired.com/2016/12/bittersweet-sweepstakes-build-ai-destroys-fake-news/ Denn neuronale Netze könnten wohl Bilder erkennen und sogar autonome Autos lenken, „aber sie können Fake News nicht identifizieren, zumindest nicht mit realer Gewissheit.“ Dafür brauche es ein menschliches Urteil. Davon ist auch Pomerleau überzeugt: „Wenn eine Maschine zuverlässig Fake News erkennt, würde das bedeuten, dass die Künstliche Intelligenz ein menschliches Level erreicht hat.“
Artikel und Aussagen wie diese ärgern Victoria Rubin. „Natürlich werden Algorithmen Falschmeldungen erkennen können“, sagt die Forscherin, die sich auf Natural Language Processing - die maschinelle Verarbeitung menschlicher Sprache - spezialisiert hat, „aber nicht in den nächsten zwei Monaten.“ Unbemerkt von der Öffentlichkeit beschäftigt sich eine kleine Gruppe von Forschern schon seit rund 15 Jahren damit, wie man Lügen automatisch erkennen kann, vielleicht 30 bis 50 Wissenschaftler weltweit schätzt Rubin. „Aber jetzt explodiert es“. Seit das Internet den Lügen zum Erfolg verholfen und die Welt das Thema als Problem erkannt hat, können sich diese Forscher vor Anfragen kaum retten. Aber in Bezug auf Falschmeldungen stehen auch sie am Anfang.
In der Vergangenheit haben sich diese Forscher damit beschäftigt, wie beispielsweise Gerichtsgutachter oder Polizisten erkennen können, ob ein Zeuge lügt, woran man gefälschte Hotelbewertungen erkennt oder ob Blogs im Internet wahre oder falsche Inhalte verbreiten. Die Herausforderung in Bezug auf Fake News sind unter anderem die Trainingsdaten: so wie eine Bilddatenbank mit Millionen gelabelter Bilder beispielsweise Googles Bilderkennungsalgorithmus groß gemacht hat, braucht es unzählige von Menschen als falsch und richtig markierte Meldungen, um einen Algorithmus damit zu trainieren.
Überraschenderweise liegen die Maschinen beim Lügenerkennen schon heute deutlich besser als der Mensch – was auch daran liegt, dass der Mensch sehr schlecht darin ist. Rubin und ihre Kollegen ließen bereits vor sieben Jahren rund 250 Menschen über Amazons Dienst Mechanical Turk kurze Geschichten schreiben: wahre und gelogene. Sie sollten selbst kennzeichnen, welche erfunden waren. Die gelogenen Geschichten sollten plausibel sein – beispielsweise konnten die Probanden eine wahre Begegnung schildern und nur Kleinigkeiten ändern wie die Farbe des Lippenstifts einer Beteiligten, oder auch ganze Gegebenheiten erfinden, beispielsweise wie sie einen Verkehrsunfall erlebten.
Anschließend wurden Probanden gebeten zu entscheiden, welche der Geschichten gelogen waren. Sie erkannten das mit einer Genauigkeit von 53 Prozent – man hätte also ebenso gut eine Münze werfen können. „Menschen sind schlecht darin, Lügen zu erkennen“, sagt Rubin, „wir haben eine falsche Tendenz, wir glauben gerne alles, wir suchen nicht nach Lügen.“ Ein Algorithmus hingegen, den Rubin anschließend mit den gleichen wahren und falschen Geschichten trainierte, fand offenbar doch Muster in den Texten, die auf Lügen schließen lassen: er ordnete 63 Prozent der Texte richtig zu – mehr als die menschlichen Probanden. Das ist zwar weit davon entfernt zuverlässig zu sein – aber es ist eine Frage der Definition, was als Maßstab für die „reale Gewissheit“ dient, die „Wired“ fordert: der Mensch? Dann sind die Maschinen schon heute besser.
Die Forscher nutzten in den Folgejahren verschiedene andere Trainingsdaten, beispielsweise satirische Artikel, die ebenfalls „falsche“ Behauptungen enthalten – zumindest falls man die darin enthaltene Ironie und Satire nicht versteht, was ebenfalls vielen Menschen schwer fällt. Ein Algorithmus von Rubin und ihrem Team erkannte 2016 Satire mit einer Zuverlässigkeit von 87 Prozent – und als die Forscher zusätzliche Regeln programmierten, wie die, dass der erste und der letzte Satz eines solchen satirischen Artikels meist besonders deutliche Anzeichen enthalten, erreichten sie gar 91 Prozent Genauigkeit. (https://www.researchgate.net/publication/301650504_Fake_News_or_Truth_Using_Satirical_Cues_to_Detect_Potentially_Misleading_News) „Bis vor kurzem hieß es, Ironie, Sarkasmus und Emotionen erkennen nur Menschen“, sagt Rubin. Wieso also sollte Lügenerkennung eine menschliche Domäne bleiben?
Aber welche Muster erkennen die Maschinen? Wie überführen sie Menschen des Lügens? Das haben die Forscher nur teilweise entschlüsselt – und es hängt sehr davon ab, in welcher Form die Lügen vorliegen: im Gespräch beispielsweise drücken sich lügende Menschen wortreicher aus als der Durchschnitt, sie nutzen mehr Worte, die mit Sinnen zusammenhängen wie „sehen“ oder „fühlen“, und ihre Sätze sind im Schnitt weniger komplex aufgebaut. Vorstände großer Konzerne hingegen nutzen in öffentlichen Reden öfters Worte wie „fantastisch“ oder „exzellent“, wenn sie bewusst lügen.
Das zeigt aber auch eines: Lügen sind nicht gleich Lügen. Offenbar muss es sehr genau definiert sein, welche Art von Lügen und welche Situationen gemeint sind, damit die Algorithmen eine Chance haben. „Das allein ist ein riesiges Problem“, sagt der ehemalige Amazon-Echo-Entwickler Rao gegenüber Wired: „Wir müssen sehr viel Zeit allein damit verbringen zu definieren, was genau Fakenews eigentlich sind.“ Und das ist vielleicht die größte Herausforderung daran: Mustererkennungsalgorithmen brauchen ein wohldefiniertes Problem.
„Natürlich müssen wir genau definieren, was wir suchen“, sagt auch Rubin. Aber Fake News sind nicht eindeutig definiert: manchmal sind es Gerüchte, manchmal bewusste Lügen, manchmal falsch verstandene Satire oder Ironie. Und manchmal vielleicht einfach Missverständnisse. Ein Algorithmus, der bewusste Lügen relativ gut erkennt, scheitert schon dann, wenn jemand diese Lügen glaubt und in seinen eigenen Worten wiedergibt. Denn dann verwendet dieser nicht jene Prädiktoren, die Rubin und ihre maschinellen Lernverfahren in bewussten Lügen entdeckt haben. Er spricht dann so, als sage er die Wahrheit – weil er selbst glaubt, es sei die Wahrheit. Dann hilft nur noch der Kontext, um Inhalte klar als falsch oder richtig zu erkennen. Und mit dem wiederum haben die Algorithmen ein Problem: den richtigen Kontext intuitiv zu erkennen, das ist eine menschliche Gabe, die Computer nicht so einfach übernehmen können.
Wer genau hinsieht, merkt aber auch, dass sich die Forscher am Ende doch nicht ganz uneinig sind. Auch wenn Pomerleau sicher ist, dass er seine Wette gewinnen wird (zurecht, allein weil eine 90-prozentige Genauigkeit eine große Herausforderung ist), glaubt er, dass eine Kombination aus Mensch und Maschine das beste Mittel gegen Fake News ist. Algorithmen könnten helfen, das Problem zu lindern, hofft er, indem sie potentielle Falschmeldungen enttarnen und dann Menschen um Rat fragen, welche es tatsächlich sind. Auch Delip Rao, der Pomerleaus Wette um weitere tausend Dollar aufgestockt hat, sagt: „Wir brauchen den Menschen im System, das Urteil von Experten ist unersetzlich.“
Und selbst Victoria Rubin, die überzeugt ist, dass die automatische Lügenerkennung eines Tages mehr oder weniger gelöst sein wird, beharrt auf der menschlichen Beteiligung: „Software kann unsere menschliche Unterscheidungskraft nur unterstützen, sie kann sie nicht ersetzen.“ Das kritische Denken der Leser bleibt die zentrale Herausforderung.