„Wir brauchen neue Prüfansätze für KI-Systeme im Fahrzeug“

Spätestens seit der Veröffentlichung des Chatprogramms ChatGPT Ende 2022 ist künstliche Intelligenz auch in der breiten Öffentlichkeit in aller Munde. Was sind typische Anwendungsfälle von künstlicher Intelligenz im Auto?

Georg Schneider (AI LAB Saarbrücken, ZF): Beim automatisierten Fahren kommt der KI eine Schlüsselfunktion zu. Typische Anwendungsfälle sind einerseits die Perzeption, also die Wahrnehmung über die Fahrzeugsensoren, aber auch weitergehende Schritte wie die Bewegungsplanung der Längs-, Quer- oder Vertikaldynamik eines Fahrzeugs. Bei der Perzeption ist zum Beispiel die Kamera mit Hilfe der künstlichen Intelligenz in der Lage, komplexe Objekte wie Fußgänger, Radfahrer oder andere Verkehrsteilnehmer in unterschiedlichsten Situationen sicher zu erkennen. Ein Beispiel für die Bewegungsplanung ist das Einfädeln auf eine andere Fahrspur. Das kann auf der Autobahn ein komplexes Szenario sein, wenn der virtuelle Fahrer vor einer Abfahrt entscheiden muss, ob er eine Lücke weiter vorn verwenden kann oder abbremsen und sich hinter einem anderen Fahrzeug einreihen soll.

Welche Risiken müssen beim Einsatz von künstlicher Intelligenz für das automatisierte Fahren gemeistert werden?

Arndt von Twickel (Bundesamt für Sicherheit in der Informationstechnik): Natürlich muss man erstmal definieren, was künstliche Intelligenz ist. Wir betrachten künstliche Intelligenz als Systeme, die nicht wie klassische Computersysteme funktionieren. Das heißt, sie werden nicht von einem Programmierer programmiert, der genau festgelegt, was in welcher Situation zu tun ist, sondern es werden Systeme genutzt, die anhand von Daten trainiert werden. Darin liegt eine große Chance: Man kann diese KI-Systeme unheimlich komplexe Verkehrsszenarien lernen lassen, indem man das System mit sehr komplexen Datensätzen füttert. Das Problem ist aber: Alle Fehler, die in diesen Datensätzen drinstecken, finden sich nachher auch im Modell wieder. Ein in Deutschland trainiertes KI-System kennt keine Hydranten, die in den USA vorkommen. In den USA wurden die Hydranten dann als Kinder erkannt und der virtuelle Fahrer bremste ab. Solche Fehler sind aufgrund der Komplexität sehr schwer zu erkennen und es gibt keine einfachen Prüfmechanismen, sondern es müssen sehr viele Dinge getestet werden. Man muss Datensatz für Datensatz durchgehen und testen, ob das System so funktioniert, wie es funktionieren soll. Es ist nur sehr eingeschränkt wie bei klassischer Software möglich, eine sogenannte formale Verifikation durchzuführen. Wir können also nicht einfach auf einen Knopf drücken und der Rechner prüft automatisch, ob das System korrekt ist. Man braucht neue Methoden und neue Prüfansätze, um diese Systeme zu interpretieren und auch zu prüfen, weil das eben nicht durch die reine Verifikation und durch das Verständnis des Menschen passieren kann.

Wie können diese Schwachstellen der künstlichen Intelligenz von Angreifern ausgenutzt werden?

von Twickel: Die Idee kam vom BSI, dass wir gesagt haben, es gibt diese neue Schlüsseltechnologie, ohne die automatisiertes Fahren nicht möglich ist. Wir wollen, dass sie vertrauenswürdig genutzt werden kann, dass sie einerseits von der Cybersicherheit her von uns akzeptiert wird, aber dass eben auch die Verbraucher dieses System akzeptieren. Da hat sich uns die Frage gestellt, was man zusätzlich zu den bisher vorhandenen Regularien, Standards und Prüfmethoden tun muss, um diese Systeme abzusichern und vertrauenswürdig zu machen. Und da gibt es verschiedene Bereiche, die man sich anschauen muss. Einerseits muss geschaut werden, was gerade in der Forschung und Entwicklung passiert: Welche Methoden, die da entwickelt wurden, kann man schon übertragen? Welche Methoden, die vorhanden sind, reichen schon aus? Und das schauen wir uns in diesem Projekt systematisch an. Dann gibt es noch weiße Flecken auf der Landkarte. Zum Beispiel: Wie geht man mit sogenannten Adversarial Attacks um, also Angriffe, die über die Sensorik erfolgen, wo Eigenschaften des KI-Systems ausgenutzt werden, die für den Menschen nicht unbedingt sichtbar sind, zum Beispiel kleine Veränderungen auf einem Verkehrsschild. Das könnte ein Aufkleber sein, der vom Menschen akzeptiert wird. Wir sehen im Alltag oft Aufkleber auf Verkehrsschildern, aber das KI-System könnte dieses Verkehrsschild mit dem Aufkleber als ein komplett anderes Verkehrsschild interpretieren. Und genau diese Fälle schauen wir uns an und versuchen Methoden zu finden, um das zu prüfen und um Vorschläge zu machen, wie man diese Systeme robuster machen kann, damit sie mit diesen Fällen umgehen können.

Was kann dieses Projekt leisten, damit solche Angriffe möglichst nicht erfolgreich sind?

Schneider: Um die Wirksamkeit dieser Angriffe abzuschwächen und sie für den Angreifer aufwändiger zu machen, gibt es beispielsweise die Methode des adversarialen Trainings. Beim Design des Systems wird darauf geachtet, dass man solche Angriffe schon während des Trainings durchführt und das System auf diese Art abhärtet. Genau darum geht es in unserem Projekt: Welche Methoden eignen sich gut, um das KI-System gegen Angriffe immun zu machen? Wie kann ich testen, ob das KI-System nach dem Training auch wirklich immun ist?

Geht es bei diesem Projekt auch um direkte Eingriffe in die Elektronik und Software des Fahrzeugs?

von Twickel: Bei diesem Projekt geht es nicht darum, Dinge zu wiederholen, die schon gemacht wurden. Wir setzen voraus, dass alle schon vorhandenen Sicherheitsanforderungen umgesetzt werden. Es gibt zum Beispiel im Fahrzeugbereich die UN-Regulierung UNECE R 155, bei der es um Sicherheitsmanagementsysteme im Transportbereich geht. Bei klassische Cyberangriffen setzen wir also voraus, dass es adäquate Schutzmaßnahmen gibt. Wir konzentrieren uns in diesem Projekt auf KI-spezifische, qualitativ neue Eigenschaften wie Adversarial Attacks. Es gibt weitere neue Probleme: Ich hatte schon das Problem des „Bias“ erwähnt, wenn bestimmte Situationen in den Trainingsdaten nicht vorhanden waren. Außerdem gibt es sogenannte Hintertürangriffe, bei denen man in der Trainingsphase schon Manipulationen vornimmt, indem man falsche Trainingsdaten einschleust. Deshalb muss durch bestimmte Vorgaben und Prüfmechanismen sichergestellt werden, dass die Daten qualitätsgesichert sind. Dies muss auf der technischen Ebene gelöst werden, aber es muss natürlich auch Vorgaben auf organisatorischer Ebene geben: Zum Beispiel müssen Mitarbeiter, die solche KI-Systeme entwickeln und testen, hinreichend geschult sein, um diese Probleme zu erkennen und zu lösen. Denken wir noch eine Stufe weiter – das ist aber nicht direkt Teil dieses Projekts – dann müssen auch die Verbraucher geschult werden. Nicht alle Probleme können technisch gelöst werden, sondern setzen einen mündigen Nutzer voraus. Auch dafür kann das Projekt Grundlagen bereitstellen.

Schafft dieses Projekt einen neuen KI-TÜV für Fahrzeuge?

Schneider: Nein. Der TÜV prüft, ob ihr spezifisches Fahrzeug noch alle technischen Bedingungen erfüllt, für die es ursprünglich ausgelegt worden ist. Bei diesem Projekt geht es um das KI-System als solches, das für ganze Fahrzeugplattformen konzeptioniert wird. Es setzt also noch einen Schritt früher an. Der Test eines einzelnen Fahrzeugs in einer erweiterten TÜV-Prüfung könnte aber die Funktionsfähigkeit von Sensoren prüfen, damit das Gesamtsystem funktionieren kann.

von Twickel: Bei der von Ihnen, Herr Schneider, angesprochenen Absicherung von Fahrzeugplattformen kommt einerseits der Typzulassung eine entscheidende Bedeutung zu: Fahrzeuge müssen ein dem Stand der Technik entsprechendes Sicherheitsniveau mitbringen, wenn sie in den Markt gebracht werden. Und das muss auch für KI-Komponenten gelten, die im Fahrzeug sind. Andererseits gibt es das Thema Marktüberwachung: Wenn die Fahrzeuge schon im Verkehr sind und Schwachstellen bekannt werden, dann muss getestet werden, auf welche Fahrzeuge das zutrifft und was man machen muss, um das Risiko abzustellen. Dies könnte zum Beispiel durch ein Software-Update oder durch ein Update von einer bestimmten Sensorik geschehen. Diese Grundlagen schauen wir uns im Projekt an.