Die ZEIT, 22. Februar 2018 - Ausschnitt
Computertechnik fordert Augen und Ohren, alle anderen Sinne liegen brach. Jetzt machen Forscher digitale Welten fühlbar.
Ach, wäre er doch Musiker geblieben! Wie richtig und wie falsch zugleich dieser Wunsch ist, das zeigt sich in diesem schlichten Informatiklabor zwischen Kabeln und technischen Geräten. Brent Gillespie, Maschinenbau-Professor der University of Michigan und gerade für ein Forschungsfreisemester in Stuttgart, sitzt vor einem komplizierten mechanischen Aufbau. Er dreht hier und da vorsichtig an einer Schraube, schlägt die weiße Taste am einen Ende des Aufbaus an und beobachtet ganz genau, was das in der Apparatur bewirkt. Am anderen Ende, einen Meter entfernt, schlägt ein mit Filz überzogenes Hämmerchen auf eine Saite. »Steinway Action« steht auf einer kleinen Blechtafel, darunter eine Widmung. Diese Taste, mitsamt der Mechanik aus einem Konzertflügel ausgebaut, ist das Geschenk eines befreundeten Musikprofessors.
Wer Gillespie dabei beobachtet, wie er sich in dieses Instrumenten-Exponat vertieft, der wünscht ihm nichts mehr als die Erfüllung seines großen Traums: Der Ingenieur möchte in allen zehn Fingerspitzen das Gefühl erleben, so ein Instrument zu spielen – ohne einen Konzertflügel in sein Labor schaffen zu müssen. Dem Informatiker, zurzeit Gast des Max-Planck-Instituts für Intelligente Systeme, geht es um die sinnliche Erfahrung, welche die Mechanik einer Steinway-Taste in den Tausenden Tastzellen eines Pianisten-Fingers hinterlässt. Lässt sich dieses Empfinden künstlich so gut nachbilden, dass nichts fehlt im Vergleich zum Original? Gibt es das Steinway-Gefühl ohne den teuren Flügel?
Der erste Schritt ist, zu begreifen, wie der Sinneseindruck eines einzelnen Tastendrucks zustande kommt. Der nächste ist, ihn digital nachzubilden – also ohne diesen ganzen komplizierten mechanischen Aufbau. Für Brent Gillespie wäre es bei Weitem einfacher gewesen, Pianist zu bleiben und den Steinway zu genießen.
Für die Forschung ist es ein Glücksfall, dass er es nicht blieb, obwohl es durchaus eine Zeit lang so aussah, als könne er sich seinen Lebensunterhalt gut in den Konzertsälen der Welt verdienen. Kurioserweise störte ihn ausgerechnet eine Sache: »Ich wurde ein Snob. Ich wollte nur noch auf dem Flügel spielen.« Das habe sich einfach besser angefühlt, als auf einem Klavier zu musizieren. Doch ein Snob wollte er nicht sein, und obendrein hatte Gillespie eine zweite Leidenschaft: Auf den Masterabschluss in Musik folgte ein Master in Maschinenbau. Schließlich promovierte er in Stanford, es lief also wieder gut, doch dann störte ihn auch hier etwas. Aus seinem Berufsleben verschwand das Spüren. »Wir entwickeln Technologien mit audiovisuellem Feedback«, beschreibt Gillespie. »Das ist einfach, aber etwas Wichtiges fehlt: die Haptik.« Interaktion mit Geräten beschränkt sich zunehmend auf Sehen und Hören. Von der Schreibmaschine über die Computertastatur bis zum Smartphone – die Geräte wurden komfortablerweise immer kleiner. »Aber wir haben etwas Großes verloren, als wir die Tasten weggenommen haben.«
Künstliche Ersatzgefühle treten an die Stelle greifbarer Eindrücke
Was dem Informatikprofessor aus Michigan in seiner untypischen Biografie abhandengekommen ist, das beschäftigt gerade eine ganze Branche. Die Ingenieure bemerken, dass sie ein zentrales menschliches Bedürfnis vernachlässigt haben: das nach Sinneseindrücken jenseits von Sehen und Hören. Zwar haben Hirnforscher immer wieder betont, wie wichtig es sei, Dinge im Wortsinne zu begreifen, um die Welt zu verstehen. Doch die Technik hat sich bisher genau ins Gegenteil entwickelt, sie entzieht sozusagen den Fingerspitzen das Gefühl oder genereller gesagt: den Tastzellen.
Die sensorischen Lücken, die daraus entstanden, füllten Entwickler mit künstlich erzeugten Ersatzgefühlen. Schon die Servolenkung habe das gezeigt, erinnert sich Gillespie: Als sie zu perfekt wurde, beschwerten sich Fahrer, weil sie die Straße nicht mehr spürten. Folglich wurden Servolenkungen so austariert, dass die Bodenbeschaffenheit wieder übertragen wurde. Und als die Smartphones mit ihren Touchdisplays in die Welt kamen, fühlten sich viele alleingelassen mit virtuellen Tasten, die nicht fühlbar reagierten. Stephen Brewster von der University of Glasgow, ein Vordenker der Haptik in der Mensch-Computer-Interaktion, zeigte schon zur Geburtsstunde des iPhones 2007 in einigen Studien, dass Menschen deutlich weniger Schreibfehler machen, wenn die Tasten ein fühlbares Feedback geben. Wer heute einen Text mittels Touchdisplay eingibt, spürt auf vielen Smartphone-Modellen eine winzige Vibration bei jedem Buchstaben. Schon dieser billige Ersatz erzeugt das beruhigende Gefühl, etwas ausgerichtet zu haben. Unser Gehirn übersetzt diese unbestimmte Vibration in das, was es erwartet: das Gefühl von Tastendruck.
Aber ist solcher Ersatz genauso gut? Gillespie schüttelt, eingezwängt zwischen Steinway-Taste und Kabeln, den Kopf. Ihn erinnere das alles an das Aufkommen des E-Pianos. Das habe es zwar vielen Menschen ermöglicht, Klavier zu spielen, die sich ein mechanisches Instrument nicht leisten könnten. Aber gleichzeitig sei es – haptisch gesehen – ein billiger Ersatz. Der Tastforscher führt das mit seiner Flügeltaste vor und erklärt, wie viel besser man einen Triller auf einem Flügel als auf einem Klavier spielen kann, während das mit einem elektrischen Klavier gar nicht gehe. Weil dessen Tasten nur eine Maske seien, die lediglich einen elektrischen Kontakt auslöse, es gibt keine Saite, kein Hämmerchen schlägt. Gillespie fährt zart mit dem Finger an seiner Steinway-Taste entlang. »Hier drückt man die Taste, und das alles bewegt sich. Am Ende soll der Hammer nicht unten bleiben«, es braucht Hebel und Umwege, »das ist mechanisch komplex«. Auf den üblichen E-Pianos lässt sich eine Taste nicht mehrmals halb anschlagen. Hier ist die digitale Übersetzung sozusagen grob fehlerhaft. »Das ist schade, denn Musik gibt uns die Möglichkeit, uns auszudrücken. Ein Instrument ist die Erweiterung unseres Körpers.«
»Der Sog der virtuellen Realität ist groß«, sagt der Professor
Gillespie ist kein Kulturpessimist. Er sieht das Digitale als große Chance: »Wir sind nicht mehr abhängig von der teuren Mechanik, es gibt so viel zu entdecken!« Dann muss sich auch niemand mehr als Snob fühlen, weil er nur noch auf dem Flügel spielen will. »Wir können dieses Gefühl programmieren« – irgendwann. Erst einmal arbeitet er in seinem Labor an einer aufwendigen Apparatur mit vielen kleinen Motoren, die das Empfinden beim Flügeltastendruck simulieren soll. Motoren, also echte Bewegungen, sind aus seiner Sicht der erste Schritt zum Ziel: »Eine gute Illusion.« Wenn das prinzipiell funktioniere, werde die Apparatur kleiner werden und schließlich günstiger – wie alle Technik. Sie skaliert, sagen Informatiker. Dann ist das Steinway-Gefühl bereit für den Massenmarkt. Das ist Gillespies Traum.
Bis dahin ist es allerdings ein weiter Weg. Seit der Jahrtausendwende ist den Forschern und Entwicklern wenig anderes eingefallen als Vibration, um das Spüren zurückzubringen. Sie ist ein einfaches und billiges Mittel, um eine Berührung zu imitieren. Am deutlichsten wird das Problem in der virtuellen Realität (VR), dieser radikalen Alternative zur physischen Welt, die dank moderner Videobrillen und detaillierter Computergrafik erstaunlich echt wirkt. Bis auf die Physik: Man kann dort Dinge anfassen, in die Hand nehmen, an andere weiterreichen. Aber sie wiegen nichts. Wer eine Wand berührt, spürt vielleicht eine Vibration, mehr nicht, dann gleitet die Hand hindurch. Spätestens in der VR wird klar, dass die Pauschallösung Vibration eine schlechte haptische Prothese ist, eine, die den Phantomschmerz verstärkt.
Damit steigen die Chancen auf Veränderung. »Der Sog der virtuellen Realität ist groß«, sagt Patrick Baudisch, Professor für Mensch-Computer-Interaktion am Potsdamer Hasso-Plattner-Institut (HPI), »Haptik könnte jetzt Mainstream werden.« Er beobachtet die Szene schon seit Langem, nun hofft er auf den Durchbruch »in eine Welt, die nicht nur aus Bild und Ton besteht«. Als er studiert habe, Mitte der neunziger Jahre, sei die Informatik auf eines beschränkt gewesen: »Daten rein und Daten raus.« Das habe sich bis heute kaum geändert – doch jetzt stehe ein Wandel an. »Wir erweitern uns um die Dimension eines körperlichen Erlebnisses.« Bei Informatikkonferenzen hört man derzeit öfter Sätze wie jenen, dass Gegenstände eigentlich auch nichts weiter seien als ausgedruckte Daten. Für die Informatiker zählt das Physische auf einmal zu ihrem Zuständigkeitsbereich.