Die Absicherung von KI-Funktionen im Fahrzeug bleibt eine Herausforderung, die Schritt für Schritt gemeistert werden muss. Dabei gibt es sichtbare Fortschritte auf dem Weg zum autonomen Fahren, sagt Dr. Reinhard Stolle, stellvertretender Institutsleiter des Fraunhofer IKS. Und voraussichtlich lässt sich der Erfolg von ChatGPT & Co. auch für hochautomatisierte Fahrzeuge nutzen.
12. September 2025
© iStock/Scharfsinn86
H. T. Hengl:
Auf ihrem Weg auf die europäischen Straßen sind autonome Fahrzeuge offenbar kurz nach dem Start im Stau steckengeblieben. Warum?
Dr. Reinhard Stolle:
Das klingt mir zu negativ, obwohl an der Aussage natürlich was dran ist. Von der positiven Seite betrachtet gibt es viele Fortschritte beim autonomen Fahren. Besonders sichtbar ist das in den USA, wo fahrerlose Taxis in einigen Städten bereits auf den Straßen unterwegs sind. Aber auch in Europa gibt es große Erfolge …
H. T. Hengl:
Welche? Kannst Du da Beispiele nennen?
Dr. Reinhard Stolle:
Mercedes und BMW bieten bereits Fahrzeuge an, die für autonomes Fahren auf Level 3 (s. Kasten) zugelassen sind. Und es gibt eine Vielzahl von großen und kleinen Unternehmen, die an Level-4-Lösungen arbeiten und schon fortgeschrittene Prototypen vorzuweisen haben. Die Anwendungen reichen von Robotaxis in der Stadt bis zu autonomen Transportfahrzeugen in Häfen, Flughäfen, Logistikzentren und auf Fabrikgeländen.
Einen übersichtliche Darstellung der Levels des automatisierten Fahrens von Stufe 0 bis 5 bietet die Society of Automotive Engineers (SAE).
H. T. Hengl:
Und wie sieht das Ganze von der negativen Seite betrachtet aus?
Dr. Reinhard Stolle:
In der Tat dauert es länger als viele gedacht haben, bis fahrerlose Autos zum Straßenbild gehören. Ein wichtiger Grund dafür sind Machine-Learning-(ML)-Modelle im Fahrzeug. Autonomes Fahren ist nur durch die spektakulären Fortschritte in der Machine-Learning-Forschung in den letzten zehn Jahren überhaupt in »Produktreichweite« gekommen. Gleichzeitig ist diese neue Technologie aber eine Herausforderung für die Absicherung der autonomen Fahrzeuge, denn die Absicherungsmethoden für herkömmliche Fahrzeugsoftware sind nur sehr eingeschränkt für KI-Software anwendbar.
H. T. Hengl:
Könntest Du das bitte näher erläutern?
Dr. Reinhard Stolle:
Diese ML-Modelle kommen zum Beispiel in der Perzeption zum Einsatz, d. h. für das Wahrnehmen und Verstehen des Fahrzeugumfelds, also auch für das sichere Erkennen von Menschen. Dies erfolgt über Bilder. Und die Auswertung dessen, was man auf Bildern sieht, war bis etwa 2012 nur mit begrenzter Zuverlässigkeit möglich. Im Jahr 2012 gab es dann einen Fortschrittssprung mit dem sogenannten AlexNet, also durch den Einsatz von neuronalen Netzen, einer Form von Machine-Learning-Modellen, zur Bildverarbeitung. Das ist heute für jedermann erlebbar durch die Fotoerkennungsfunktionen im Telefon und im Webbrowser.
Dr. Reinhard Stolle: »Die ML-Modelle sind black boxes, d.h. es ist nicht ohne Weiteres nachvollziehbar, wie die Entscheidungen der KI zustande kommen.«
H. T. Hengl:
Und wo liegt dabei das Problem?
Dr. Reinhard Stolle:
Die ML-Modelle sind black boxes, d.h. es ist nicht ohne Weiteres nachvollziehbar, wie die Entscheidungen der KI zustande kommen. Damit entsteht das Paradoxon, dass die KI, die das autonome Fahren überhaupt möglich macht, zunächst einmal als ein zusätzlicher Unsicherheits-Faktor gesehen wird.
H. T. Hengl:
Wie bekommt man diese Unsicherheit in den Griff?
Dr. Reinhard Stolle:
Das Fraunhofer IKS erforscht und entwickelt Methoden, wie solche ML-Modelle trotz ihrer inhärenten Unsicherheit auch in sicherheitsrelevanten Bereichen, wie dem autonomen Fahren und auch in hochentwickelten Fahrerassistenzsystemen, eingesetzt werden können. Das tun wir gemeinsam mit Partnern aus der Wissenschaft und der Industrie.
H. T. Hengl:
Gibt es da Beispiele dafür?
Dr. Reinhard Stolle:
Sicher, zwei Förderprojekte stehen beispielhaft für diese Forschungsarbeit: AutoDevSafeOps und Safe AI Engineering. Im Projekt AutoDevSafeOps geht es darum, dass KI-basierte Produkte nicht nur zum Zeitpunkt der Auslieferung, sondern über den ganzen Produktlebenszyklus hinweg sicher sein müssen, also auch wenn sich der Kontext der Nutzung verändert. Zum Beispiel müssen autonome Fahrzeuge Scooter-Fahrer erkennen können, auch wenn zum Zeitpunkt der Fahrzeugentwicklung Scooters noch nicht Teil des üblichen Straßenbildes waren. Dazu wurde ein bisher einzigartiger ganzheitlicher DevOps-Ansatz mit integrierten Sicherheitsmethoden entwickelt. Er soll modulare Updates sicherheitskritischer Fahrfunktionen inklusive der zugehörigen Absicherungsprozesse und Verfahren über die Systemgrenze zwischen Fahrzeug und Backend hinweg ermöglichen – und das in einer sich dynamisch verändernden Umwelt.
Die Forschungsarbeiten von Safe AI Engineering schließen die Lücke zwischen Konzept und Sicherheitsnachweis mittels Verifikation, Validierung (V&V) sowie Monitoring der KI. Dazu werden bestehende Normen wie ISO/PAS 8800, ISO/PAS 21448 (SOTIF) und ISO 26262 integriert, die internationale Standards für KI-Funktionen setzen.
H. T. Hengl:
Wie finden die Ergebnisse dieser Forschung im nächsten Schritt den Weg in die einzelnen Autos? Was muss geschehen, dass KI-gestützte Systeme serienmäßig im Fahrzeug zum Einsatz kommen?
Dr. Reinhard Stolle:
Ziel muss es sein, die beste Technik auf sichere Art und Weise ins Fahrzeug, d.h. zum Kunden zu bringen. Die Systeme werden so entworfen, dass sie Machine-Learning-Modelle nutzen, aber dabei die den Black-Box-Modellen inhärente Unsicherheit im Gesamtsystem beherrschbar wird. Die in den geförderten Projekten erarbeiteten Ergebnisse können dann in die Produktentwicklung in der Industrie und auch in die Standardisierung von Absicherungsmethoden einfließen.
H. T. Hengl:
Könnte da die Entwicklung und Nutzung großer Sprachmodelle nicht als Vorbild dienen? Könnten Large Language Models (LLMs) auch beim automatisierten und später dann beim autonomen Fahren zum Einsatz kommen?
Dr. Reinhard Stolle:
Da stehen die Forschung und die Branche insgesamt mitten in einer sehr spannenden Entwicklung. Es gibt unterschiedliche Ideen, wie LLMs die Fahrzeuge und ihre Sicherheit verbessern können: Erstens könnten sie die natürlichsprachliche Kommunikation zwischen Fahrer bzw. Mitfahrenden und dem Fahrzeug unterstützen. Zweitens ist es möglich, einen auf Safety Engineering spezialisierten Co-Pilot in der Anwendungsentwicklung einzusetzen. Daran forscht auch das Fraunhofer IKS (https://safe-intelligence.fraunhofer.de/artikel/interview-mit-mario-trapp-und-florian-geissler-safety-companion). Die Entwicklung von Fahrzeugen hat nämlich mit Unmengen von Dokumenten zu tun, formalen, halbformalen und auch in Form von natürlicher Sprache. Und drittens lässt sich das Weltwissen, das in LLMs vorhanden ist, für das autonome Fahren nutzen. Wenn man einem LLM die Frage »Wie schnell kann man an parkenden Autos vorbeifahren?« stellt, sieht man: Das LLM weiß die Antwort. Man braucht das also nicht »from scratch« aus vielen Trainings-Fahrten zu lernen, sondern kann dieses Weltwissen auf geeignete Weise direkt in die Fahrstrategie übernehmen. Wie das genau gehen kann, zum Beispiel über eine geeignete Nutzung von multimodalen Foundation Models, ist eine sehr spannende und sehr aktuelle Forschungsaufgabe.
