Wie gelingt autonomes Fahren im Stadtverkehr?

Auf deutschen Autobahnen sind autonome Fahrfunktionen auf SAE-Level 3 seit kurzem Realität. Im urbanen Raum bleibt das Abwenden von der Fahraufgabe bislang jedoch Zukunftsmusik. Ein Status Quo, an dem das Verbundprojekt @CITY sukzessive rütteln möchte. „Die Stadt ist – in Anführungszeichen – einfach furchtbar“, pointiert der Projektkoordinator, Ulrich Kreßel, zu Beginn der Abschlusspräsentation in Aldenhoven bei Aachen.

Fünf Jahre lang entwickelten die 15 Partner neue Konzepte, Technologien sowie prototypische Anwendungen, um die Komplexität der urbanen Umgebung, die Wechselwirkung mit anderen Verkehrsteilnehmern und die Interaktion zwischen Fahrer und Fahrzeug zu adressieren. Aufgewendet wurde dafür ein Budget von 45,2 Millionen Euro – gefördert durch das Bundeswirtschaftsministerium.

HD-Karte und Sensoren sind beste Symbiose

Die Grundlage vieler Anwendungen des @CITY-Projekts schuf die Firma 3D Mapping Solutions mit einer Modellierung der Testgebiete. „Allerdings liefert auch eine hochgenaue Karte nur einen Schnappschuss zum Zeitpunkt der Aufnahme“, erklärt Valeo-Experte Kai Fischer die Notwendigkeit von Redundanzen. Die Karte werde deshalb mit Sensormessungen des Fahrzeugs fusioniert. Denn die wetter- und situationsunabhängigen Landmarken entfalten ihr Potenzial erst bei der Korrespondenz mit den Sensoren des Fahrzeugs.

Einsatzbeispiele für eine derartige Plausibilisierung der digitalen Karte liefert etwa der Versuchsträger von Audi, der bei seiner autonomen Fahrt auf vertikale und horizontale Landmarken wie Pfosten, Bäume oder Straßenmarkierungen zurückgreift. Mercedes-Benz und die Universität Ulm setzen in ihrem Prototyp ebenfalls auf Referenzierung – über ein hochgenaues dGPS System. Auch bei Aptiv kommt dieses in Verbund mit der radarbasierten Selbstlokalisierung zum Einsatz, während Continental beim Abgleich von Radar- und HD-Karte auf GPS verzichtet.

Autonome Autos müssen Situationen verstehen

Darüber hinaus sind Kontextverständnis und das Antizipieren möglicher Verhaltensweise im Stadtverkehr essenziell für autonome Fahrzeuge. „Deshalb müssen wir die Technologie in die Lage versetzen, vorab gespeicherte und neu gewonnene Informationen zu einem umfassenden Situationsverständnis zu kombinieren“, erklärt Ulrich Hofmann von Audi.

Unter seiner Leitung wurden im ersten Teilprojekt unter anderem Ablaufdiagramme für Kreuzungen und Kreisverkehre erstellt, Grundlagen für die semantische Segmentierung von Kameradaten gelegt sowie die digitale Karte mit A-priori-Wissen gefüttert. Dafür wurden zum einen Landmarken, Geschwindigkeitsbeschränkungen und die Ampelzuordnung verschiedener Fahrstreifen eingepflegt. Zum anderen flossen die Analysen realer Verkehrsszenarien durch Messfahrten oder Drohnenflüge sowie Prognosen hinsichtlich des kooperativen Fahrverhaltens in die Ergebnisse ein.

Ampel-Vernetzung ist der Königsweg

Auf Grundlage dieser Arbeit adressierten zahlreiche Versuchsträger eine der elementarsten Herausforderungen im Stadtverkehr – Knotenpunkte wie Kreuzungen oder Kreisverkehre. Egal ob Audi, Mercedes-Benz, Valeo, ZF oder Continental: Sie alle demonstrierten auf der Teststrecke in Aldenhoven ihre Lösungen. Vorfahrts- und Stoppschilder, Ampeln, Zebrastreifen oder Rechts-vor-Links-Situationen wurden dabei bravourös gemeistert. Unterschiede kristallisierten sich insbesondere bei der Erkennung heraus.

So setzt Audi mittels Laser- und Radardaten auf die semantische Segmentierung der Fahrstreifen und Objekte. Ampelphasen werden hingegen per V2X-Kommunikation übermittelt. Welchen Vorteil die Ampel-Vernetzung hat, zeigte insbesondere die Demonstration von Continental auf. In dieser wurde nicht nur ein verdeckter Fußgänger erkannt, auch die nicht einsehbare Ampel stellte für das Auto kein Problem dar. Dieses läge eher in der Skalierung, meint Christopher Pinkte, Product Manager Robotaxi bei Continental Teves. Immerhin würde ein flächendeckender Rollout immense infrastrukturelle Kosten verursachen.

Fahrerassistenzen benötigen Redundanzen

Variabler zeigte sich indes die ZF Group. Die Ampelerkennung erfolgte bei den Friedrichshafenern sowohl durch V2X als auch mittels einer Kamera von Mobileye. Zusätzlich kamen Radare von Hella, ein eigener Frontradar, sowie Lux-Lidare von Ibeo zum Einsatz, die gemeinsam den Abgleich mit der HD-Karte vornehmen und andere Verkehrsteilnehmer erfassen. Die gesamte Verarbeitung der Sensordaten stamme aus eigenem Hause, betont ZF-Experte Mario Theers.

Im Gegensatz zu den genannten Akteuren erfolgt die Ampelerkennung bei Mercedes-Benz ausschließlich mit der Mono-Kamera an der Fahrzeugfront sowie anhand von Kartendaten. Bei hervorragenden Sichtbedingungen scheint dies der wohl der zukunftsträchtigste, da massentauglichste Weg. Bei Nacht, schlechtem Wetter oder starkem Gegenlicht könnte die Erkennung jedoch an ihre Grenzen kommen, gesteht Julian Müller, Machine Learning Engineer beim Stuttgarter Autobauer. „Die V2X-Kommunikation wird immer besser sein als Machine Learning, obwohl sich in den letzten Jahren viel getan hat.“

Valeo nutzt eigene Seriensensorik für Prototyp

Abseits von Knotenpunkten ist der urbane Verkehr nicht minder komplex. So befasste sich das Projekt zudem mit Engstellen, die durch parkende Autos sowie Liefer- oder Pannenfahrzeuge entstehen. Die Lösung demonstrierte Valeo mit seinem Testfahrzeug, das bereits im Rahmen der IAA 2021 autonom durch die Straßen Münchens fuhr. „Vieles, was wir damals präsentiert haben, wurde im Rahmen von @CITY entwickelt“, erklärt Jörg Schrepfer, Head of Driving Assistance Research Germany.

Ein Schwerpunkt wurde dabei – neben Ampelkreuzungen – auf Engstellen gelegt. Das stehende Auto wurde demnach problemlos, demonstrativ umfahren. Die Besonderheit des Testfahrzeugs: Komponenten und Seriensensorik stammen komplett aus eigenem Hause. Zur zentimetergenauen Lokalisierung vertraut der Zulieferer aktuell auf die Punktewolke des Scala 2-Lidars und ergänzt diesen durch Kameras, Radar und Ultraschall. Trotz der Besinnung auf eigene Stärken hebt Schrepfer den „unbezahlbaren“ Wert der Projektkooperation hervor: „So wissen wir bei den Autoherstellern, wo der Schuh am meisten drückt.“

MAN automatisiert das Halten an Bushaltestellen

Die Herausforderungen des öffentlichen Nahverkehrs lässt @CITY ebenfalls nicht außen vor. Mit neun Kameras, 36 Ultraschallsensoren sowie Lidar ausgestattet, fuhr der Bus von MAN automatisiert in die Haltebucht der Teststrecke. Seine Punktwolke generiert sich aus 600.000 Punkten in der Sekunde. Aus- und einsteigende Passagiere werden im Zuge der Nahfeldüberwachung zudem mittels Anfahrsperre geschützt. Ultraschall sorgt bei Nacht für die nötige Redundanz.

Und auch hinter dem Bus befindliche, autonome Autos müssen sich über das visuelle Erkennen des Blinkers keine Sorgen machen. Der Versuchsträger von Audi empfängt die Information des ausscherenden Busses per V2X-Kommunikation, passt sich der Situation an und gewährt dem ÖPNV die Vorfahrt.

Bosch nutzt Deep Learning zur Verhaltensvorhersage

Die Königsdisziplin des autonomen Fahrens ist dabei schon angeklungen – die Interaktion mit schwächeren Verkehrsteilnehmern und das Deuten ihres Verhaltens. Die hohe Variabilität des Erscheinungsbildes, erschwerte Sichtbedingungen, erscheinungsbasierte sowie explizite Kommunikation, Szenenkontext und eine multimodale Verhaltensvorhersage mussten allesamt in den Erkennungsalgorithmus einfließen, erklärt Teilprojektleiter Lutz Bürkle von Bosch.

In seinem Versuchsträger greift der Zulieferer deshalb auf ein neuronales Multitasknetz zurück, das mittels Deep Learning die einzelnen Pixel der Fahrstrecke semantisch segmentiert sowie Objekterkennung und Prädiktion übernimmt. Im ersten Bosch-Demonstrator übernimmt dies eine Mono-Kamera. Im zweiten Prototyp kommen zusätzlich zwei Lidar-Sensoren zum Einsatz. Gemein haben die beiden Ansätze, dass Fußgänger zuverlässig erkannt und nur notwendige Bremsvorgänge eingeleitet werden.

Ganze vier Sekunden schaut das Prädiktionsmodell dabei voraus und bezieht dabei sowohl Bewegungsrichtung der Personen als auch Objekte wie Zebrastreifen in die Wahrscheinlichkeitsrechnung mit ein. „Was wir abbilden können, ist das normale Verhalten“, erläutert Bosch-Experte Gernot Schröder. Erratische Bewegungen bleiben somit weiterhin im Graubereich der Vorhersage.

KI deutet Ausrichtung einzelner Gelenkpunkte

Wie die Systeme mit expliziter Kommunikation in Form von Gesten angelernt werden, demonstriert hingegen Continental. Künstliche Intelligenz klassifiziert dabei den Fahrradfahrer und wertet seine Handgeste als Abbiegewunsch. Grundlage dafür ist die kamerabasierte Gelenkpunkt-Extraktion, die auch Mercedes-Benz in seinem Fahrzeug präsentiert. Das dadurch gewonnene Skeleton könnte künftig noch kleinteiliger zur Prädiktion verwendet werden.

Das Beispiel liefern nicht nur Mercedes-Benz und die Universität Ulm, auch Aptiv geht einen Schritt weiter als das Erfassen der reinen Bewegungsrichtung. Demnach wird in beiden Prototypen zusätzlich die Kopfausrichtung herangezogen. Mit dem Verbund aus Kamera, Radar und HD-Karte lokalisiert der Zulieferer zudem nicht nur die Position, sondern kann unter Berücksichtigung des Kontexts auch Intention und Trajektorie so vorhersagen, dass die Fahrstrategie entsprechend angepasst wird.

Wie kommunizieren autonome Fahrzeuge?

Menschliches Verhalten erkennen und deuten ist allerdings nicht die einzige Herausforderung. Auch das autonome Fahrzeug selbst muss mit dem Fahrer und seiner Umgebung in Kontakt treten können. Der Mensch will schließlich wissen, was die Maschine plant, bringt Teilprojektleiter Stephan Cieler von Continental es auf den Punkt.

Neben einem internen HMI für den Fahrer und dem sogenannten dynamischen HMI, welches sich aus dem Verhalten des Fahrzeugs ergibt, wurde von der TU Darmstadt deshalb eine lichtbasierte Signalisierung für andere Verkehrsteilnehmer entwickelt. Von einer Standardisierung oder Normierung sei man aber noch weit entfernt, gibt Cieler zu Bedenken. „Die Prototypen lassen sich morgen nicht in einem Katalog bestellen. Wir möchten vielmehr die Diskussion beleben.“ Eine Aussage, die wohl auf einige der beschriebenen Technologien zutrifft.