Autonome Systeme werden zunehmend in verschiedenen sicherheitskritischen Anwendungen eingesetzt, etwa im autonomen Fahren. Gerade hier sind die Umfeld- und Betriebsbedingungen von entscheidender Bedeutung. Komponenten des Maschinellen Lernens (ML) wie Deep Neural Networks (DNN) fungieren als Wegbereiter und müssen daher selber bei wechselnden Umweltbedingungen zuverlässig funktionieren. Das Fraunhofer IKS bietet eine Lösung, die mit diesen vielfältigen und sich ständig ändernden Umweltbedingungen umgehen kann.
20. Oktober 2023
© iStock/grandspy707
Im Allgemeinen muss ein autonomes System seine Umgebung (z. B. Fußgänger und andere Fahrzeuge) und den tatsächlichen Betriebskontext (z. B. Wetterbedingungen) erkennen können. Autonome Systeme verwenden zunehmend ML-basierte (Machine Learning) Komponenten wie Deep Neural Networks (DNN), die bei der Umfeldwahrnehmung unzuverlässig sind. DNNs sind außerdem nicht interpretierbar und reagieren empfindlich auf Änderungen des Betriebskontexts. Dies verringert die Sicherheit und Zuverlässigkeit des autonomen Systems unter verschiedenen Betriebsbedingungen.
Conference Paper, 2023
Abstract –
Autonomous systems are deployed in various contexts, which makes the role of the surrounding environment and operational context increasingly vital, e.g., for autonomous driving. To account for these changing operating conditions, an autonomous system must adapt its behavior to maintain safe operation and a high level of autonomy. Machine Learning (ML) components are generally being introduced for perceiving an autonomous system’s environment, but their reliability strongly depends on the actual operating conditions, which are hard to predict.
Therefore, we propose a novel approach to learn the influence of the prevalent operating conditions and use this knowledge to optimize reliability of the perception through self adaptation. Our proposed approach is evaluated in a perception case study for autonomous driving.
We demonstrate that our approach is able to improve perception under varying operating conditions, in contrast to the state-of-the-art. Besides the advantage of interpretability, our results show the superior reliability of ML-based perception.
Das System kann sich jedoch, abhängig von den Betriebsbedingungen, selbst anpassen und verschiedene Konfigurationen im Hinblick auf Architektur und Verhalten nutzen, um Sicherheit und Zuverlässigkeit zu erhalten.
Diesen Grundgedanken greift ein neuer Ansatz des Fraunhofer-Instituts für Kognitive Systeme IKS auf: Die Selbstadaption optimiert die Zuverlässigkeit eines autonomen Systems auf Basis der vorherrschenden Betriebsbedingungen.
Der Einfluss von Betriebsbedingungen auf verschiedene Sensoren wird typischerweise von Domänenexperten zur Verfügung gestellt, obwohl dieser Einfluss für die entsprechenden DNNs nicht einfach abgeleitet werden kann. Verschiedene ML-Komponenten zur Umgebungswahrnehmung haben je nach Betriebssituation Vor- und Nachteile, die im Vorfeld nicht bekannt sind. Der Ansatz des Fraunhofer IKS ermöglicht es, diese jeweiligen Vor- und Nachteile automatisch zu erlernen. Ermöglicht wird dies durch das Contextual Adaptive Software Framework, das das Fraunhofer IKS selbst entwickelt hat. Damit ist es möglich, jedes ML-Modell als Blackbox zu nutzen, sozusagen Plug & Play.
Der neue Ansatz des Fraunhofer IKS wurde erfolgreich in einem Anwendungsbeispiel für autonomes Fahren evaluiert. Wir optimierten eine multimodale Sensordaten-Fusionspipeline, um eine zehnfache Verbesserung der Wahrnehmungszuverlässigkeit trotz wechselnder Betriebsbedingungen, z.B. Regen, Schnee, Nebel, zu erreichen.
Dieses Paper wurde präsentiert auf dem IEEE/ACM 18th Symposium on Software Engineering for Adaptive and Self-Managing Systems (SEAMS) in 2023.
