Mit Hilfe von Wärmebild-Sensoren könnten autonome Fahrzeuge künftig sicherer durch die Nacht kommen. (Bild: Adobe Stock / Enrico Obergefäll)
Vollautonom durch die Nacht? Kann schwierig werden. Denn Lidar, Radar und Kameras stoßen mitunter an ihre Grenzen – die Sehfähigkeit der Fahrzeuge ist unter ungünstigen Bedingungen eingeschränkt. Forscher der US-amerikanischen Purdue University haben nun einen eigentlich naheliegenden Gedanken aufgegriffen: Sie setzen auf Wärmebilder. Das allerdings auf innovative Weise. Ein Team um Zubin Jacob, Professor für Elektrotechnik und Informatik, und Physiker Fanglin Bao kombinieren thermische Verfahren, Infrarot-Bildgebung und maschinelles Lernen zur bildhaften Wahrnehmung. Davon sollen künftig vor allem vollautonom fahrende Autos profitieren.
Was bringen Wärmebilder für das autonome Fahren?
Das Team nennt die neuartige Technik Hadar (Heat assisted detection and ranging) und verspricht: „Damit kann man bei Nacht genauso gut sehen wie bei Tageslicht.“ Doch wie gelingt es, die Nacht zum Tag zu machen? Übliche Wärmebilder haben etwas nebulös-fleckig Geisterhaftes. Von scharfen, eindeutigen Konturen keine Spur und damit im Grunde unbrauchbar für Fahrzeuge. Die Purdue Thermal Imaging Innovation sammelt unsichtbare Wärmestrahlung, die Objekte abstrahlen und macht sie so sichtbar – unabhängig von Dunkelheit, schlechter Sicht oder Sonnenblendung. So weit, so bekannt. „Wärmebilder des Gesichtes einer Person zeigen nur Konturen und einen gewissen Temperaturkontrast. Es gibt keine Merkmale, sodass man den Eindruck hat, ein Gespenst gesehen zu haben“, erklärt Fanglin Bao, „Dieser Verlust an Informationen, Textur und Merkmalen ist ein Hindernis für die maschinelle Wahrnehmung mithilfe von Wärmestrahlung.“
Also ging es den Wissenschaftlern darum, die optische Beschaffenheit von Oberflächen aus dem verschwommenen Wärmesignal wiederherzustellen: Temperatur, Emissionsgrad und Textur werden für jedes einzelne Objekt mittels Algorithmen extrahiert und das Ganze mit maschinellem Lernen zu äußerst detaillierten und scharf konturierten Bildern zusammengesetzt: Von feinen Verästelungen bis zu Struktur der Rinde eines Baumes wird alles sichtbar, wie die Wissenschaftler in einem Offroad-Szenario demonstrierten. „Es ist erstaunlich, dass es möglich ist, durch pechschwarze Dunkelheit zu sehen, als wäre es helllichter Tag“, kommentiert Bao.
Machine Learning schärft verschwommene Wärmebilder
Was auch daran liegt, dass die Informationen aus der Thermografie durch Infrarot-Bildgebung unterstützt werden, wodurch die Algorithmen aus einer ungeheuren Fülle an Bildinformationen naturgetreue Szenerien zusammensetzen können. Angesichts des Ergebnisses gibt sich Teamleiter Zubin Jacob euphorisch: „Die maschinelle Wahrnehmung der Zukunft wird die langjährige Dichotomie zwischen Tag und Nacht überwinden.“ Er sieht den Verlust von Informationen, Texturen und anderen Eigenschaften herkömmlicher Wärmebildtechnik damit für erledigt an und eine neue Ära für die maschinelle Verarbeitung von Wärmebildern anbrechen.
Es könnte der fehlende Baustein sein, um den 'Augen' autonomer Fahrzeuge tatsächlich jene situationsunabhängige Sehkraft zu verleihen, an der es aktuell noch mangelt. Denn Lidar, Radar und Sonar sind zwar gute und etablierte Verfahren, haben aber im Detail ihre Schwächen: Als aktive Sensoren senden sie Signale aus, empfangen sie wieder, um daraus ein räumliches Bild der Umgebung zu generieren. Doch je unwirtlicher die Licht- und Wetterverhältnisse und je komplexer die Szenerie, desto eher schleichen sich auf dem Weg der Signalverarbeitung Fehler, Unschärfen und blinde Flecken ein. Davor ist ein passives Verfahren wie die Thermografie gefeit. Hinzu kommt, dass Lasertechnik im ungünstigsten Fall das menschliche Auge schädigen könnte.
Steht Hadar vor der Marktreife?
Bei aller Euphorie dämpfen die Forscher die Erwartungen an einen baldigen Durchbruch ihrer Technologie. Bisher haben sie mit einem Demonstrator nachweisen können, dass Hadar funktioniert und überzeugende Ergebnisse geliefert, doch der Weg zum Serieneinsatz scheint noch weit. Hauptprobleme: Das System ist zu groß und zu schwer – und zu teuer. In dem Hadar-Demonstrator arbeitet nicht nur eine 10.000 US-Dollar teure Wärmebildkamera, sondern auch ein hyperspektraler Bildgeber der Militärklasse. Kostenpunkt: Gut eine Million US-Dollar.
Aber nicht nur das ist derzeit noch hinderlich: Hadar ist vor allem ziemlich gemächlich unterwegs – Datenerfassung und -verarbeitung dauern noch etwa eine Minute. Pro Bild. Undenkbar, so Fahrzeuge sicher autonom durch die Nacht gleiten zu lassen, wo Entscheidungen über Ausweich- oder Bremsmanöver in Millisekunden fallen müssen. Hinzu kommt das grundsätzliche Problem maschinellen Lernens: Es dauert, bis ein solches System mit hinreichend Daten trainiert worden ist.
All diese Hürden zu überwinden halten die Forschenden für machbar und entwickeln das zum Patent angemeldete System weiter. Unterstützt wird die Arbeit von der DARPA (Defense Advanced Research Projects Agency), eine Behörde des Verteidigungsministeriums der Vereinigten Staaten sowie aus Mitteln eines staatlichen US-Innovationsprogramms. Entwicklungsleiter Zubin Jacob blickt jedenfalls frohgemut in die Zukunft: „Im Jahr 2030 wird jedes zehnte Auto autonom unterwegs sein“, meint er, „Jedes ist dann mit mehreren Systemen zur Erkennung und Überwachung der Umwelt ausgestattet.“ Hadar soll eines davon sein, ist der Forscher zuversichtlich.
