Automatisierte Systeme sollen die Navigation in Fahrzeugen und Flugzeugen sicherer machen. Doch an der Mensch-Maschine-Schnittstelle entstehen neue Fehlerquellen. Das zeigt der tödliche Unfall eines Tesla-Fahrers. Wer schützt uns vor der Technik?
Es war eine seltsame Ungleichzeitigkeit der Ereignisse: Unlängst meldete das Technik-Magazin «Wired», dass Forscher der University of Cincinnati eine neue künstliche Intelligenz entwickelt haben, die in einem Testlauf im Simulator in der Lage war, einen erfahrenen Ex-Air-Force-Piloten wiederholt abzuschiessen. «Gegen diesen Computer sind Menschen machtlos: «Künstliche Intelligenz schiesst jedes Flugzeug ab», titelte «Chip Online».
Ein Tag später wurde bekannt, dass ein Fahrer bei einer Fahrt mit der Autopilotfunktion eines elektrischen Tesla Model S auf einem Highway in Florida tödlich verunglückte. Zu dem Unfall kam es offenbar, als ein Lastzug vor dem teilautonomen Fahrzeug im rechten Winkel die Strasse kreuzte. Nach Unternehmensangaben konnte der Autopilot die weisse Flanke des Sattelzugs vom hellen Himmel nicht unterscheiden. Ein fataler Fehler.
Man könnte, würde es nicht so zynisch klingen, die Überschrift von «Chip Online» auch über diesen tödlichen Unfall legen: «Gegen diesen Computer sind Menschen machtlos.» Der Fahrer war der Technik auf Gedeih und Verderb ausgeliefert. Tesla weist zwar ausdrücklich darauf hin, dass der Fahrer auch im Auto-Pilot-Modus die Hand am Lenkrad haben soll, doch offensichtlich konnte er das Steuer nicht mehr herumreissen. Die beiden Fälle illustrieren, wie nahe Macht und Ohnmacht bei automatisierten Systemen beieinander liegen.
Das Fahren wird zur spielerischen Nebensache.
Selbstfahrende Autos treten mit dem Versprechen an, das Fahren sicherer zu machen. Jedes Jahr sterben nach Angaben der WHO 1,25 Millionen Menschen bei Verkehrsunfällen. Der Strassenverkehr ist tödlicher als Ebola oder Malaria. Getrieben von der Vision des unfallfreien Fahrens, haben Automobilhersteller alle möglichen Assistenzsysteme entwickelt: «Spurhalteassistenten» warnen den Fahrer vor beabsichtigtem Verlassen der Fahrspur, «Aufmerksamkeitsassistenten» zur Müdigkeitserkennung vor dem Sekundenschlaf.
BMW hat auf der Elektronikmesse CES in Las Vegas ein kupferfarbenes Pilotfahrzeug vorgestellt, das nicht nur selbständig fährt, sondern auch auf Fingerzeig im Cockpit reagiert und beispielsweise das Display für E-Mail-Anhänge freimacht oder das Sportlenkrad blau leuchten lässt. Das Fahren wird zur spielerischen Nebensache.
Doch dieses Sicherheitsversprechen hat nun einen schweren Dämpfer erlitten. In der Vergangenheit kam es immer wieder zu Unfällen mit autonomen Fahrzeugen. Googles selbstfahrendes Auto ist etwa in San Francisco mit einem Linienbus zusammengestossen. Und vor wenigen Wochen fuhr ein Schweizer, der mit seinem Tesla Model S auf der Autobahn A1 Richtung Zürich auf Autopilot unterwegs war, in einen stehenden Lieferwagen mit eingeschalteten Blinklichtern. Statt vor dem stehenden Van abzubremsen, habe der Tesla kurz vor der Kollision sogar noch beschleunigt, berichtete der Fahrer gegenüber «20 Minuten». Dank der geringen Geschwindigkeit von rund 20 km/h ging der Unfall glimpflich aus. Doch es hätte freilich schlimmer kommen können – so wie bei dem Tesla-Fahrer in den USA.
Gibt es einen Aus-Knopf?
Die Frage ist: Wer hat eigentlich das Kommando in einem «autonomen» Fahrzeug? Das Wiener Verkehrsabkommen von 1968 schreibt vor, dass der Fahrer in jeder Situation die Kontrolle über das Fahrzeug haben muss. Die Kontrolle über das Fahrzeug ist eines der Hauptmotive, warum wir überhaupt Auto fahren. Der Fahrer steuert das Auto. Doch wenn immer mehr Fahrfunktionen und Steuergeräte automatisiert werden, geben wir einen Teil dieser Kontrolle an die Maschine ab. Kommt das nicht einem Kontrollverlust gleich? Vor allem: Was passiert, wenn der Autopilot sich verselbständigt? Gibt es einen Aus-Knopf?
Der «Spiegel» berichtete im vergangenen Jahr, dass irregeleitete Bordcomputer eine Lufthansa-Maschine auf dem Weg von Bilbao nach München in einen steilen Sinkflug zwangen. Auslöser des Zwischenfalls waren vereiste Sensoren, die das Computersystem mit falschen Daten fütterten, woraufhin die Rechner einen steilen Sinkflug einleiteten. Der Airbus A321 rauschte 1000 Meter pro Minute in die Tiefe. Minutenlang versuchten die Piloten den Sinkflug durch Navigationskommandos zu verhindern. Erst durch das Abschalten der Bordcomputer gelang es den Piloten, das Flugzeug wieder unter Kontrolle zu bekommen.
Vereiste Sonden waren mit ein Grund, warum 2009 eine Maschine der Air France auf dem Weg von Rio nach Paris über dem Atlantik abstürzte. Die Piloten waren nach der Störung des Geschwindigkeitsmessers mit der Situation überfordert.
Je verlässlicher das System arbeitet, desto grösser die Gefahr, dass der Mensch «abschaltet» und seine Konzentration verliert.
Das Problem ist, dass an der Mensch-Maschine-Schnittstelle neue Fehlerquellen entstehen. Das Paradebeispiel sind sogenannte «Navi-Unfälle», bei denen der Fahrer blind seinem Navigationsgerät vertraut und eine falsche Autobahnauffahrt wählt. Experten sprechen vom «Automatisierungsparadoxon»: Je verlässlicher das System arbeitet, desto grösser die Gefahr, dass der Mensch «abschaltet» und seine Konzentration verliert.
Studien belegen, dass Piloten das Fliegen verlernen, wenn die Maschine auf Autopilot läuft. Ersten Ermittlungen zufolge soll der verunglückte Tesla-Fahrer Harry Potter geschaut haben. Der Technologie-Autor Nicholas Carr nennt das in seinem Buch «The Glass Cage» die «kognitiven Kosten der Automation». Die Automatisierung ist so gedacht, dass sie menschliche Fehler minimieren soll. Dabei produziert die Technik selbst Fehler: übermittelt unzulängliche Daten oder übersieht Hindernisse, wie das Beispiel Tesla zeigt. Was die Frage aufwirft: Wer schützt uns vor der Unzulänglichkeit der Technik? Die Sicherheit in automatisierten Systemen ist trügerisch.