Wie kleinere neuronale Netze das Machine Learning verbessern

Ähnlich wie lebende Gehirne bestehen künstliche neuronale Netzwerke aus vielen einzelnen Zellen. Die Komplexität dieser Systeme birgt jedoch Probleme hinsichtlich der Interpretierbarkeit und Robustheit bei Störungen. Ein internationales Forschungsteam der Technischen Universität Wien, des Institute of Science and Technology Austria (IST Austria) und des Massachusetts Institute of Technology (MIT) hat deshalb eine Lösung für künstliche Intelligenz entwickelt, die auf den Gehirnen winziger Tiere wie etwa Fadenwürmern basiert. „Seit Jahren erforschen wir, was wir von der Natur lernen können, um Deep Learning zu verbessern“, sagt Radu Grosu, Leiter der Forschungsgruppe Cyber-Physical Systems der TU Wien.

Tests bei selbstlenkenden Autos

Die Verarbeitung der Signale innerhalb der einzelnen Zellen erfolgt dabei nach anderen mathematischen Prinzipien als frühere Deep-Learning-Modelle. Die Netzwerke sind zudem nur lose verbunden, so dass nicht alle Zellen direkt miteinander interagieren. Getestet wurde der neue Ansatz bei selbstlenkenden Autos, die in ihrer Spur bleiben sollen. Zunächst werden die Kamerabilder der Straße von einem sogenannten faltenden neuronalen Netzwerk verarbeitet und strukturelle Merkmale aus den eingehenden Pixeln erfasst. Dieses Netzwerk entscheidet, welche Teile der Aufnahme wichtig sind, und leitet dann Signale an das Kontrollsystem des Netzwerks weiter, das anschließend das Fahrzeug lenkt. Beide Subsysteme sind hintereinandergeschaltet und werden gleichzeitig trainiert.

Reduktion der Neuronenanzahl

„Für das Erlernen komplexer Aufgaben wie des autonomen Fahrens werden heute oft Deep-Learning-Modelle mit vielen Millionen Parametern verwendet“, sagt Mathias Lechner, Alumnus der TU Wien und Doktorand am IST Austria. „Unser neuer Ansatz ermöglicht es uns jedoch, die Größe der Netzwerke um zwei Größenordnungen zu reduzieren. Unsere Systeme verwenden nur 75.000 trainierbare Parameter.“ Verkehrsvideos aus Boston wurden dafür gemeinsam mit Informationen darüber, wie das Fahrzeug in einer bestimmten Situation zu lenken ist, in das Netzwerk eingespeist, bis das System die Bilder automatisch mit der entsprechenden Lenkrichtung verknüpfen und selbstständig mit neuen Situationen umgehen konnte. Der Systemsteuerungsteil (Neural Circuit Policy, NCP), der die Daten aus dem Wahrnehmungsmodul in einen Lenkbefehl übersetzt, bestehe aus nur 19 Neuronen und sei damit um bis zu drei Größenordnungen kleiner als bisherige Modelle, so Lechner.

Novum der Interpretierbarkeit

Die beiden wichtigsten Vorteile: Aufgrund der Komplexitätsreduktion lässt sich die Rolle jeder einzelnen Zelle bei jeder Fahrentscheidung identifizieren. Ein Novum der Interpretierbarkeit, das bei größeren Modellen unmöglich wäre. „Um zu testen, wie robust NCPs im Vergleich zu früheren Deep-Learning-Modellen sind, haben wir die Eingangsbilder gestört und bewertet, wie gut die KI-Agenten mit dem Rauschen umgehen können“, erklärt Lechner weiter. Während dies für andere tiefe neuronale Netze zu einem unüberwindbaren Problem wurde, zeigte der neue Ansatz laut dem Forscher eine starke Resistenz gegen Eingabeartefakte. Diese Eigenschaft sei eine direkte Folge des neuartigen neuronalen Modells und der Architektur. Auf das autonome Fahren beschränkt ist die Lösung deshalb bei Weitem nicht: Das Imitationslernen durch die NCPs könnte als Alternative zu bisherigen Blackbox-Systemen ein breites Anwendungsspektrum finden – von der automatisierten Arbeit im Lager bis hin zur Fortbewegung von Robotern.