Fahrer-Fahrzeug-Interaktionen

Forschungsprojekt iVITA zeigt neue Chancen durch Einsatz von KI

Das Forschungsprojekt iVITA von BMW und der TH Deggendorf setzt auf multimodale KI, um Fahrer-Fahrzeug-Interaktionen ganzheitlich abzusichern. Durch die Analyse akustischer, optischer und haptischer Daten erkennt das System Fehler frühzeitig und hebt die Qualitätssicherung auf ein neues Niveau.

4 min
Futuristisches BMW-Cockpit mit Lenkrad, breitem Digitaldisplay und großem zentralen Touchscreen.
Mit iVITA verfolgen BMW und die TH Deggendorf das Ziel, Fahrer-Fahrzeug-Interaktionen mithilfe multimodaler KI genauer zu erfassen und so die Qualitätssicherung moderner Bedien- und Infotainmentsysteme deutlich auszubauen.

Über diesen Artikel:

Turgay Mus ist Ingenieur und seit Juli 2018 bei BMW tätig. Im Juni 2019 wurde er mit dem BMW Think Award für die Entwicklung einer innovativen Methode zur Bewertung von Schweißnähten mittels künstlicher Intelligenz ausgezeichnet. Im Jahr 2020 meldete er gemeinsam mit vier Kollegen ein Patent an, das auf einer tiefgehenden Bottom-Up-Analyse basiert und ein neuartiges Modell zur Optimierung der Fahrzeugkarosserie-Produktion vorstellt. Aktuell arbeitet er als Qualitätsspezialist in der Absicherung und Integration von Elektrik/Elektronik im Werk Regensburg. 

Zudem leitet er das Forschungsprojekt „iVITA“ ( innovative Validierungsmethoden Interaktionskanäle Technologieträger Fahrerarbeitsplatz) in Kooperation mit der Technischen Hochschule Deggendorf.  Im Zentrum der Forschungskooperation steht die Entwicklung von modernen Verfahren zur Qualitätssicherung, mit deren Hilfe sich möglichst effizient und effektiv akustische und optische Interaktionen rund um den Fahrer überprüfen lassen. Ziel ist es, die Testtiefe und damit die Qualität der Fahrer-Fahrzeug-Interaktionen durch automatisierte und KI-gestützte Methoden zu verbessern und somit einen wesentlichen Beitrag zur Fahrsicherheit, aber auch zum Fahrkomfort zu leisten.

Im folgenden Gastbeitrag gibt Turgay Mus weitere Einblicke in das  Forschungsprojekt „iVITA“.

Die fortschreitende Digitalisierung und Vernetzung von Fahrzeugen führen zu einer immer größeren Bedeutung von Fahrer-Fahrzeug-Interaktionen als zentrale Schnittstellen im Automobil und dessen Umgebung. Diese Systeme integrieren vielfältige Funktionen – von Navigation über Kommunikation bis hin zu Fahrzeugdiagnose und Entertainment – und sind somit entscheidend für die Kundenzufriedenheit und Fahrzeugsicherheit. Die Sicherstellung der Qualität dieser komplexen Systeme stellt Hersteller und Zulieferer vor erhebliche Herausforderungen. Traditionelle Test- und Absicherungsverfahren stoßen angesichts der Systemkomplexität und Innovationsgeschwindigkeit an Grenzen. 

Das Forschungsprojekt „iVITA" (innovative Validierungsmethoden Interaktionskanäle Technologieträger Fahrerarbeitsplatz) von BMW in Zusammenarbeit mit der Technischen Hochschule Deggendorf setzt genau hier an. iVITA nutzt multimodale KI-gestützte Ansätze zur ganzheitlichen Qualitätssicherung, indem akustische, optische und haptische Daten sowie Fahrzeug- und Nutzungsdaten simultan erfasst und ausgewertet werden. Dadurch ermöglicht iVITA eine kontextbewusste und adaptive Fehlererkennung, die weit über die aktuell bekannten Möglichkeiten herkömmlicher Verfahren hinausgeht.

 Zwischen klassischer Prüfung und KI-gestützter Fehlerfrüherkennung

Grundsätzlich ist die Qualitätssicherung in der Fahrzeugproduktion ein zentraler Bestandteil, um die Sicherheit, Zuverlässigkeit und Kundenzufriedenheit moderner Fahrzeuge sicherzustellen. Durch die zunehmende Komplexität und Digitalisierung der Fahrzeuge, insbesondere im Bereich der Fahrerassistenz- und Interaktionssysteme, steigen auch die Anforderungen an die Qualitätssicherung kontinuierlich. Im Produktionsumfeld umfasst die Qualitätsabsicherung vielfältige Maßnahmen, angefangen bei der Prüfung einzelner Bauteile bis hin zu umfangreichen Systemtests im fertigen Fahrzeug.  

Dabei spielen sowohl manuelle Tests als auch automatisierte Verfahren eine wichtige Rolle. Intensive Testfahrten und Anlauftauglichkeitsanalysen helfen, Fehler unter realen Bedingungen frühzeitig zu erkennen und zu beheben, bevor das Fahrzeug in den Kundenkreis gelangt. Moderne Qualitätssicherung nutzt zunehmend datengetriebene Ansätze und Künstliche Intelligenz, um Fehler schneller und präziser zu identifizieren. Der Einsatz von KI ermöglicht eine frühzeitige Erkennung potenzieller Probleme und unterstützt somit proaktive Maßnahmen zur Vermeidung von Ausfällen. 

Um genau diese Zuverlässigkeit im Automobilbereich zu steigern, erfordert es nicht nur eine gründliche Testphase vor der Serienfreigabe, sondern auch eine kontinuierliche Überwachung und Wartung während der Fahrzeugproduktion und des Fahrzeuglebenszyklus. Methodiken wie Predictive Maintenance (vorausschauende Wartung) und Fehlerfrüherkennung auf Basis von Künstlicher Intelligenz (KI) spielen hierbei eine entscheidende Rolle, um Ausfälle noch frühzeitiger zu erkennen und proaktiv zu beheben. Im Folgenden werden wesentliche KI-Methoden erläutert, die für die Qualitätsabsicherung relevant sein können. 

KI-Methoden zur  Qualitätsabsicherung 

Anomalie Erkennung (Anomaly Detection):

Die Anomalie-Erkennung ist ein essenzieller Baustein zur Identifikation unerwarteter Abweichungen im Systemverhalten, die auf Qualitätsmängel oder Fehlfunktionen hinweisen. In der Praxis werden dafür umfangreiche Datenströme aus Sensoren, Steuergeräten und Produktionsprozessen analysiert. Hierbei kommen häufig Autoencoder-Modelle zum Einsatz, die das reguläre Datenverhalten lernen und Abweichungen als Anomalien markieren. Ebenso werden Isolation Forests genutzt, die Datenpunkte isolieren, die sich stark von der Norm unterscheiden. One-Class Support Vector Machines (OC-SVM) sind weitere Algorithmen, die im unüberwachten Lernen eingesetzt werden, um „normalen“ Betrieb von Anomalien zu trennen. Diese Methoden ermöglichen es, auch bislang unbekannte Fehlerzustände frühzeitig zu erkennen und gezielt zu adressieren.

Klassifikation von Fehlerzuständen:

Zur detaillierten Diagnose und Kategorisierung von Fehlern werden überwachte Klassifikationsmodelle verwendet. Random Forests und Gradient Boosting-Modelle wie „XGBoost" analysieren gelabelte Datensätze, um Fehlerarten wie Menüfehler, Sensorfehler oder Kommunikationsstörungen präzise zu identifizieren. Tiefe neuronale Netzwerke (Deep Neural Networks, DNNs) ermöglichen durch ihre Lernfähigkeit die Erfassung komplexer Zusammenhänge in großen, heterogenen Datensätzen. Durch die automatische Fehlerklassifikation können Fehlerquellen nicht nur schneller erkannt, sondern auch priorisiert und effizient behoben werden.

Natural Language Processing (NLP):

Im Bereich der Textanalyse wird Natural Language Processing genutzt, um Benutzeroberflächen-Texte, Systemmeldungen oder Bedienanleitungen automatisiert zu prüfen. Moderne Modelle wie „BERT", „RoBERTa" oder GPT-Varianten analysieren OCRextrahierte Textdaten auf Rechtschreibfehler, Inkonsistenzen oder unangemessene Übersetzungen. Zudem können NLP-Modelle semantische Analysen durchführen, um die Bedeutung von Meldungen zu interpretieren und damit die Fehlerdiagnose zu verbessern. Dies trägt wesentlich zur Optimierung der Nutzererfahrung und der Verständlichkeit von Fahrzeugsystemen bei.

Bild- und Videoanalyse mit Deep Learning:

Die visuelle Qualitätskontrolle wird durch Convolutional Neural Networks (CNNs) realisiert, die Bild- und Videodaten der Fahrzeug-Benutzeroberflächen analysieren. Modelle wie „ResNet", „EfficientNet" oder „YOLO" (You Only Look Once) erkennen zuverlässig Fehlerbilder, darunter abgeschnittene Texte, falsch platzierte Icons oder inkonsistente Menüs. Diese automatisierten Analysen ermöglichen eine schnelle und präzise Erfassung visueller Fehler, die die Bedienbarkeit und Nutzerzufriedenheit maßgeblich beeinflussen.

Zeitreihenanalyse:

Für die Analyse sequenzieller Daten, zum Beispiel von Fahrzeug- und Steuergeräte-Logs, kommen spezialisierte Modelle wie Long Short-Term Memory (LSTM) und Gated Recurrent Units (GRU) zum Einsatz. Diese rekurrenten neuronalen Netze erfassen zeitliche Abhängigkeiten und Muster, um beispielsweise Verzögerungen bei Benutzereingaben oder wiederkehrende Systemaussetzer zu identifizieren. Weiterhin werden zunehmend Transformer-Architekturen für Zeitreihen verwendet, die durch Self-Attention-Mechanismen komplexe Zusammenhänge effizient modellieren. Die Zeitreihenanalyse unterstützt somit die Erkennung von Performance-Problemen und trägt zur Stabilität der Systeme bei.

Reinforcement Learning für Testautomatisierung:

Reinforcement Learning (RL) wird eingesetzt, um KI-Agenten zu trainieren, die autonom Bedienabläufe im Fahrzeug testen. Diese Agenten interagieren über Schnittstellen wie OBD mit dem System und erlernen durch trial-and-error effiziente Teststrategien. Algorithmen wie „Deep Q-Networks" (DQN) und „Proximal Policy Optimization" (PPO) ermöglichen es den Agenten, komplexe Menüstrukturen systematisch zu durchlaufen und versteckte Fehler wie UI-Freezes oder inkonsistente Navigationssprünge zu entdecken. Diese adaptive Testautomatisierung erhöht die Testabdeckung und Effizienz deutlich.

Feature-Engineering und Sensorfusion:

Eine robuste Fehlerdiagnose erfordert die Kombination heterogener Datenquellen, darunter OBD-Diagnosedaten sowie Umgebungs- und Sensordaten (z. B. Temperatur, Vibration). Mittels Feature-Engineering werden relevante Merkmale extrahiert, transformiert und optimiert. Techniken wie „Principal Component Analysis" (PCA) und „t-SNE" werden zur Dimensionsreduktion verwendet, um die Daten für KI-Modelle handhabbar zu machen. Sensorfusion-Methoden integrieren verschiedene Datenmodalitäten, sodass komplexe Zusammenhänge besser erfasst werden können. Ensemble-Learning-Strategien und hybride Modelle steigern die Genauigkeit und Robustheit der Vorhersagen signifikant.

iVITA: nächste Generation KI-gestützter Qualitätssicherungssysteme

Das Forschungsprojekt iVITA („innovative Validierungsmethoden Interaktionskanäle Technologieträger Fahrerarbeitsplatz“) von BMW in Zusammenarbeit mit der Technischen Hochschule Deggendorf ist ein Beispiel für die praktische Erforschung unter anderem dieser oben genannten Methoden und multimodaler Ansätze. Im Rahmen dieses Projekts werden innovative Validierungsmethoden für Interaktionskanäle erforscht. Im Zentrum von iVITA steht die simultane Erfassung und Auswertung heterogener Datenquellen – darunter akustische Signale, optische Daten und haptische Rückmeldungen sowie Fahrzeug- und Nutzungsdaten aus Steuergeräten. Durch die Kombination dieser multimodalen Daten ermöglicht iVITA eine kontextbewusste Fehlererkennung, die weit über die Möglichkeiten herkömmlicher, isolierter Prüfverfahren hinausgeht.

Technologisch erforscht iVITA unter anderem fortschrittliche KI-Modelle, darunter Deep Learning Architekturen für die Bild- und Videoanalyse, Natural Language Processing (NLP) zur Auswertung sprachlicher Interaktionen, sowie zeitliche Modelle wie LSTM und Transformer zur Analyse sequenzieller Datenströme. Zusätzlich kommen Methoden der Sensorfusion und des Feature-Engineerings zum Einsatz, um die verschiedenen Datenmodalitäten effizient zu kombinieren und ein ganzheitliches Bild der Fahrer-Fahrzeug-Kommunikation zu erzeugen.Darüber hinaus nutzt iVITA umfangreiche Fahrzeug- und Umgebungsdaten, um die Wechselwirkungen zwischen Nutzerverhalten, Fahrzeugzustand und Systemperformance besser zu verstehen. Durch diese ganzheitliche Betrachtung können nicht nur bestehende Fehlerquellen identifiziert, sondern auch bisher unbekannte Muster aufgedeckt werden, die auf zukünftige Probleme hinweisen. Dies erhöht die Testtiefe und trägt entscheidend zur Verbesserung der Fahrsicherheit und des Fahrkomforts bei.

Insgesamt stellt iVITA einen Meilenstein in der Entwicklung intelligenter Qualitätssicherungssysteme dar, der die Verbindung von multimodaler Datenerfassung, modernster KI-Technologie und praxisnaher Umsetzung in der Fahrzeugproduktion beispielhaft demonstriert. Durch diesen ganzheitlichen Ansatz trägt iVITA maßgeblich dazu bei, die Herausforderungen der zunehmenden Systemkomplexität und Vernetzung in modernen Fahrzeugen zu meistern und die Qualitätssicherung der Automobilindustrie nachhaltig zu sichern.

Drei Männer inspizieren gemeinsam das Cockpit eines BMW in Regensburg.
Turgay Mus, Leiter des Forschungsprojekts (rechts) und Thomas Limbrunner (links) von der TH Deggendorf demonstrieren Staatssekretär Tobias Gotthardt (Mitte) wie KI-basierte Testmethoden die Qualitätssicherung von Fahrer-Fahrzeug-Interaktionen präziser und effizienter machen sollen.

KI hebt die Qualitätsabsicherung auf ein neues Niveau

Traditionelle Testmethoden erreichen zunehmend ihre Grenzen, weshalb der Einsatz von Künstlicher Intelligenz (KI) neue, innovative Chancen bietet, die Effizienz und Genauigkeit der Qualitätsabsicherung in de Produktionswelt deutlich zu verbessern. Insbesondere die Integration multimodaler Datenquellen sowie fortschrittliche KI-Methoden wie Anomalie Erkennung, Klassifikation, Natural Language Processing und Reinforcement Learning ermöglichen eine präzisere und ganzheitlichere Fehlererkennung. Forschungsprojekte wie iVITA verdeutlichen, wie durch die Kombination von theoretischer Forschung und praktischer Umsetzung multimodale Daten genutzt werden können, um die Qualität der Mensch-Fahrzeug-Interaktion zu erhöhen und die Fahrsicherheit sowie den Fahrkomfort maßgeblich zu verbessern. Sie erhöhen die Produktionsqualität, reduzieren Ausfallzeiten und Nacharbeiten und verbessern die Nutzererfahrung. Damit sind sie ein wesentlicher Faktor für die Wettbewerbsfähigkeit und Innovationsfähigkeit der Automobilbranche in einer zunehmend digitalisierten Zukunft.