Automatisiertes Fahren
Sind wir schon fast am Ziel?

Eine Frage, die mir in meiner täglichen Arbeit oft gestellt wird, lautet: »Wie viele Tests müssen wir durchführen, bevor wir die automatisierte Fahrfunktion der Stufe 4 freigeben?« – oder auch Variationen davon. Ich enttäusche meine Fragesteller unweigerlich, weil ich keine einfache Antwort geben kann. Je nach Laune spiele ich dann den Besserwisser und zitiere einen alten Helden der Informatik:

»(Programm-)Tests können verwendet werden, um das Vorhandensein von Fehlern nachzuweisen, aber niemals, um deren Abwesenheit zu beweisen!« – Edsger W. Dijkstra, 1970.

Manchmal gebe ich die ehrlichere, aber ebenso wenig hilfreiche Antwort: »Wir wissen es einfach nicht genau.«

Das Problem ist, dass der Versuch, die Sicherheit autonomer Fahrzeuge allein durch Straßentests nachzuweisen, Millionen oder sogar Milliarden von gefahrenen Kilometern erfordern würde. Um beispielsweise den mittleren Abstand zwischen zwei Kollisionen eines Fahrzeugs von 3,85 Millionen Fahrkilometern (basierend auf der deutschen Unfallstatistik) mit einem Vertrauenswert von 95 Prozent zu argumentieren, müssten insgesamt 11,6 Millionen Testkilometer[1] ohne Kollisionen gefahren werden.

Natürlich müssten wir diese auch in einen iterativen Build-, Test-, Fix- und Repeat-Prozess integrieren: Jedes Mal, wenn wir die Funktion oder ihre Umgebung ändern, müssten wir von vorne beginnen.

Herausforderungen bei Tests des hochautomatisierten Fahrens

Es ist jedoch nicht nur die statistische Natur des Problems, die eine Herausforderung darstellt. Automatisierte Fahrfunktionen richten besondere Anforderungen an die Entwicklung von Testverfahren:

• Kontrollierbarkeit und Testabdeckung: Wie können wir alle relevanten Aspekte der Operational Design Domain (ODD) und des Systemzustands kontrollieren? Und das mit dem Ziel, bestimmte Attribute der automatisierten Fahrfunktion und potenziell Fehler auslösende Bedingungen der Umgebung zu testen. Und wie können wir argumentieren, dass wir den kompletten Umfang der ODD abgedeckt haben?
• Reproduzierbarkeit und Beobachtbarkeit: Eine Reihe von Unsicherheiten, sowohl im System als auch in seiner Umgebung, führen zu großen Herausforderungen beim Nachweis der Robustheit einer Funktion innerhalb der ODD. Das gilt auch für die Reproduktion von im Feld beobachteten Ausfällen zum Zweck der Analyse im Labor. Darüber hinaus ist es unter Umständen nicht möglich festzustellen, in welchem Zustand sich das System befand, als der Fehler auftrat, entweder aufgrund der Komplexität des Systems oder der Undurchsichtigkeit von Technologien wie maschinelles Lernen.
• Definition von Kriterien, um die Tests zu bestehen: Da es keine detaillierte Spezifikation des erforderlichen Systemverhaltens unter allen möglichen Bedingungen gibt, stellt die Festlegung der Kriterien für das Bestehen bzw. Nichtbestehen der Tests ebenfalls eine große Herausforderung dar.

Eine bessere Antwort auf die Frage

Als Sicherheitsingenieure wirken wir den Unsicherheiten in unseren Sicherheitsargumenten in der Regel durch die Verwendung einer Vielzahl von Beweisen entgegen. Im Fall der Verifizierungs- und Validierungsphase (V&V) bedeutet dies, dass wir die relativen Vorzüge verschiedener Analyse-, Simulations- und Testtechniken verstehen und dann eine geeignete Kombination auswählen müssen, die für die zu argumentierenden Qualitätsziele geeignet ist. Die Auswahl der Methoden und der zugehörigen Erfüllungskriterien erfordert einen systematischen Ansatz, der üblicherweise als Teststrategie oder Testplan bezeichnet wird.

Verifikations- und Validierungsmethoden

Welche Methoden stehen uns also zur Verfügung, um Verifizierung und Validierung (V & V) von automatisierten Fahrfunktionen mit dem speziellen Fokus auf funktionale Unzulänglichkeiten durchzuführen?

• Formale Überprüfung:
  Techniken wie die symbolische Modellprüfung und die Beweisführung können eine vollständige Analyse des gesamten Eingaberaums liefern. Solche Techniken erfordern jedoch sehr genau definierte Kriterien. Und sie sind in der Regel nicht für große oder schlecht definierte Eingaberäume geeignet. Außerdem können sie undurchschaubare Ergebnisse liefern. Daher kann ihr Einsatz in diesem Zusammenhang auf eingeschränkte Eigenschaften bestimmter funktionaler Komponenten, wie z. B. des Verhaltensplaners, begrenzt sein. Ihr Einsatz kann allerdings bei der Aufdeckung von Randfällen, die in der Spezifikation nicht berücksichtigt wurden, von Nutzen sein.
• Simulation:
  Der Einsatz von Simulationen bei der Prüfung von Komponenten eines automatisierten Fahrsystems befasst sich mit den Aspekten der Kontrollierbarkeit, Beobachtbarkeit und Wiederholbarkeit. Und das, indem die Schnittstellen des Systems oder einzelner Komponenten in einer kontrollierten, synthetischen Umgebung simuliert werden. Die Simulation kann für eine Reihe von V&V-Aufgaben eingesetzt werden, darunter

1. Simulation der physikalischen Eigenschaften von Sensoren zum besseren Verständnis der Ursachen von Auslösebedingungen (z. B. Analyse der Ausbreitung von Radarsignalen durch verschiedene Materialien)
2. Simulation der Eingaben für die Perzeptionsfunktionen (z. B. auf der Grundlage synthetischer Videobilder)
3. Simulation von Entscheidungsfunktionen auf der Grundlage einer abstrakten Darstellung der Fahrsituation.

• Fahrzeugbasierte Tests:
  Die Genauigkeit der Simulation und die Repräsentativität ihrer Ergebnisse müssen validiert werden, damit die Ergebnisse als wesentlicher Beitrag zum Sicherheitsnachweis verwendet werden können. Ebenso, um eine reduzierte Erprobung unter realen Bedingungen zu rechtfertigen. Die oben beschriebenen Methoden können verwendet werden, um die Fähigkeit des Systems nachzuweisen, robust auf bekannte Auslösebedingungen zu reagieren. Sie sind aber weniger gut geeignet, um die Widerstandsfähigkeit gegen unbekannte Auslösebedingungen zu argumentieren. Daher werden immer einige fahrzeugbasierte Tests erforderlich sein. Diese können in kontrollierten Umgebungen (z. B. auf Teststrecken mit Fahrzeugattrappen und Fußgängern) und auf offener Straße durchgeführt werden.

Jede Art von Methode hat ihren Platz in der gesamten V&V-Strategie und wird verwendet, um Belege für bestimmte Systemeigenschaften zu sammeln. Die Verwendung von Kriterien für Abdeckung und Abbruch für jede V&V-Methode kann helfen, den Aufwand zu planen und die Restfehlerrate des Systems abzuschätzen. Beispielsweise kann die Extremwerttheorie die Fehlerrate auf der Grundlage von Beobachtungen des internen Systemzustands und »Beinahe-Fehlern« schätzen. Solche Maßnahmen würden mehr »zählbare« Ereignisse liefern, als wenn man sich nur auf tatsächliche Gefahrensituationen stützt, und somit eine genauere Vorhersage ermöglichen. Diese Schätzungsmodelle müssen jedoch durch eine Reihe von Annahmen gestützt werden, die durch andere Konstruktionsargumente und V&V-Methoden bestätigt werden.

Das bedeutet, dass die Ergebnisse der V&V zur Verfeinerung der ODD und des Systementwurfs verwendet werden sollten. Um Informationsquellen wie Simulationen und aufgezeichnete Fahrdaten miteinander nutzen zu können, ist ein gemeinsames semantisches Modell erforderlich. Dies würde es beispielsweise ermöglichen, unerwartete Szenarien, die in der Praxis auftreten, in einer simulierten Umgebung zu rekonstruieren und zahlreiche Variationen der Bedingungen zu schaffen, um die Grenzen des Systems und die gewünschten Sicherheitseigenschaften besser zu verstehen.

[1] vgl. https://ieeexplore.ieee.org/abstract/document/8094027

Dieser Blogbeitrag ist die deutschsprachige Version eines Posts auf dem Blog der Universität von York namens »Assuring Autonomy International Programme«. Der Titel des englischsprachigen Originals lautet »Are we nearly there yet?«