Forschern des Max-Planck-Instituts ist es mithilfe von Farbmustern gelungen, die Erkennungssysteme von autonomen Fahrzeugen massiv zu stören. (Bild: MPI für Intelligente Systeme / W.Scheible)
Der Farbanschlag von Forschern des Max-Planck-Instituts (MPI) für Intelligente Systeme trifft die Verheißungen des sicheren autonomen Fahrens empfindlich. Ein kleiner bunter Punkt verwirrt Erkennungssysteme dermaßen, dass ein autonomes Auto bei Blickkontakt außer Kontrolle gerät. Das Muster des Farbkleckses löst derart viele Störsignale aus, dass die Software kapituliert. Dabei war der Hack rasch erledigt: „Wir haben drei, vielleicht vier Stunden gebraucht, um das Muster zu erstellen“, berichtet MPI-Forscher Anurag Ranjan von der Abteilung für Perzeptive Systeme. Ranjan und sein Team formulieren eine klare Warnung an die Autoindustrie: Bereits ein unscheinbares Farbmuster auf einem T-Shirt, einer Tüte oder einem Aufkleber am Straßenrand kann zum ernsthaften Sicherheitsrisiko werden.
Bei Angriffen durch eine manipulierte Umwelt sprechen Fachleute von Environmental Hacks. Während großer Aufwand betrieben wird, Bordsysteme vor unerwünschten Eindringlingen abzusichern, ist gegen Hacks durch veränderte Infrastrukturen, die Fehlklassifikationen zur Folge haben, kein Kraut gewachsen. Was die Sache nicht besser macht: Bereits von Sprayern beschmierte oder verschmutzte Verkehrszeichen und Aufkleber können unbeabsichtigt zu Irrfahrten autonomer Fahrzeuge führen. Bilderkennungsalgorithmen sind darauf nicht trainiert.
Forscher der US-Universitäten Princeton und Purdue sprechen griffig von „toxischen Zeichen“. Sie haben einige davon erprobt: Bereits ein mit wenigen Sprayer-Spuren versehenes Tempolimitzeichen wurde prompt als Stoppschild fehlinterpretiert, was in der Praxis Auffahrunfälle provoziert, wenn das autonome Fahrzeug statt 80 zu fahren voll in die Eisen geht. Etwas perfider war der Test mit einer Linsenrasterfolie, die die Forscher über ein Schild zogen, so dass je nach Blickwinkel unterschiedliche Informationen gezeigt werden: Während der tiefersitzende Passagier ein Tempolimit erblickt, erkennt die weiter oben installierte Kamera des Autos ein Überholverbot. Die Täuschungserfolgsquote, so die Forscher, dieser und weiterer Environmental Hacks habe 90 Prozent betragen.
Wie tief die simplen Angriffe in die Systeme eingriffen, zeigt die Farbklecks-Attacke des MPI, die offenbarte, wie anfällig die auf neuronalen Netzen basierenden optischen Flussalgorithmen sind. Der „optische Fluss“ beschreibt die Bewegung in einer Szene, etwa, ob ein Kind über Straße läuft. Das getäuschte System berechnet völlig andere Bewegungsrichtungen. Und dafür genügt es, nur ein Prozent des Gesamtbildes mit einem Störmusterfleck zu versehen, was selbst die MPI-Forscher überrascht und alarmiert hat. „Dies ist bedenklich, da das Flow-System in vielen Fällen die Bewegung der Objekte in der gesamten Szene gelöscht hat“, erklärt Ranjan.
Es sieht also ganz nach Nachsitzen für maschinell lernende Systeme aus. Nur: die Algorithmen müssten nicht nur umfangreiche Plausibilitätsprüfungen vornehmen, sondern auch für alle Eventualitäten angelernt werden. Kaum machbar. Einen anderen Weg beschreitet das US-Startup Connected Wise: Schilder mit speziellen Mustern bunter Formen, die von dem bordeigenen Bilderkennungssystem ausgewertet werden: Übermittelt wird so zunächst eine Kennzahl, die auf einen Eintrag in einer Datenbank verweist – etwa über ein Tempolimit. Diese kryptischen Schilder gezielt zu manipulieren ist schwer, denn es müsste in der Datenbank ein passender Eintrag hinterlegt sein.
Wenig dienlich, um die Systeme abzusichern, ist jedoch, dass jeder OEM sein eigenes Süppchen kocht. Keiner lässt sich in die Karten schauen, mit welcher KI er unterwegs ist. Daher mahnt Michael J. Black, Direktor des MPI für Perzeptive Systeme: „Unsere Arbeit soll die Hersteller von selbstfahrender Technologie wachrütteln, sie vor der potenziellen Bedrohung warnen.“
