Fußgänger müssen vom System in autonomen Fahrzeugen zuverlässig erkannt werden. Das übernehmen hauptsächlich Deep-Learning-Ansätze. Deren Ergebnisse müssen aber im Vergleich zu klassischer Software zusätzlich überprüft und verifiziert werden, was verschiedene, aufwendige technische Maßnahmen voraussetzt. Welche das sind, skizziert dieser Beitrag. Ein Überblick.
17. November 2021
© iStock.com/Bim
Eine wichtige Funktion im Bereich des autonomen Fahrens ist die Objekterkennung. Das System muss erkennen und wissen, welche Objekte sich um das beziehungsweise vor dem Fahrzeug befinden. Auf Basis dieses Wissen werden dann Entscheidungen wie das Einleiten eines Bremsmanövers oder Änderung der Fahrtrajektorie getroffen. Besonders kritisch sind dabei Fußgänger, weshalb eine wesentliche Funktion die Fußgängererkennung darstellt.
Die Hauptherausforderung, die sich hierbei stellt, ist folgende: Wie lässt sich sicherstellen, dass das System Fußgänger zuverlässig erkennt? Und wie kann die Sicherheit logisch nachgewiesen werden?
Die Sicherheit von KI-Systemen in Autos muss nachweisbar sein. Deswegen erarbeiten 28 Projektpartner im Projekt »KI-Absicherung« eine stringente und nachweisbare Argumentationskette für die Absicherung von KI-Funktionen.
Für Computer Vision, also computerbasiertes Sehen, existieren verschiedene klassische Ansätze. Allerdings werden heute hauptsächlich Deep-Learning-Ansätze (DNN) im Bereich der 2D-Objekterkennung entwickelt, wie beispielsweise im Rahmen des Konsortialprojektes KI-Absicherung. Solche DNNs produzieren eine zwei- oder dreidimensionale rechteckige Box, welche die Position des Objektes im Bild bestimmt, mit zugehöriger Klasse (Fußgänger, Auto, LKW…) und Konfidenz. Letztere stellt eine Art Wahrscheinlichkeit dar, wie sicher es sich um die zugeordnete Klasse handelt.
Aktuelle DNNs und zugehörige Beurteilungsmethoden erfüllen jedoch nicht die üblichen Erwartungen an Sicherheit, wie beispielsweise eine Erkennungsrate von Fußgängern von mehr als 99 Prozent. Außerdem kann auf Grund der Blackbox-Eigenschaften der DNNs nie eine einhundertprozentige Garantie auf die korrekte Funktionalität gegeben werden.
Und noch etwas kommt hinzu: Es ist nicht ausreichend, die Performance nur mit einer einzigen gemittelten Kennzahl zu messen, was üblicherweise in vielen Benchmarks gemacht wird. Einzelne gemittelte Metriken über das gesamte Testdatenset lassen kaum bis keine Rückschlüsse auf die Schwachstellen des Modells zu. Folgende Probleme können daher bei der Entwicklung und Absicherung von (Objekt Detection) DNNs identifiziert werden:
Um diese Probleme zu beheben ist es wichtig zu verstehen, wozu diese Netze in der Lage sind und vor allem, wo die individuellen Schwachstellen liegen. Mit dieser Information können dann Annahmen und Einschränkungen getroffen werden, innerhalb welcher die Performance ausreicht. Dadurch wird ein Einsatz in bestimmten Bereichen möglich.
Das heißt konkret: Bei der Fußgängererkennung könnten solche Annahmen beispielsweise eine Beschränkung auf bestimmte Größen von Fußgängern (zwischen 50 Zentimetern, etwa für Kinder und 250 Zentimetern für Erwachsene), Abstände zum Fahrzeug (zwischen drei und fünfzig Metern) oder eine maximale Verdeckung der Person (z.B. unter 50 Prozent) sein. Aber auch weitere Einschränkungen sind möglich. Diese setzen allerdings Untersuchungen zur genauen Spezifikation der Einschränkungen voraus.
Zu Beurteilung der Performance bietet sich an, eine Kombination von Metriken zu entwickeln und diese miteinander zu korrelieren beziehungsweise Metriken selbst zu entwickeln. Viele Metriken eignen sich zwar, um verschiedene Netze zu vergleichen, spiegeln allerdings nicht die nötigen Safety-Eigenschaften wider. Das Fraunhofer-Institut für Kognitive Systeme IKS arbeitet daher an der schrittweisen Adaption klassischer Metriken sowie der Definition von neuen Metriken, speziell, um die Sicherheit zu beurteilen.
Des Weiteren sind sowohl das Netz als auch der Trainings- und Test-Datensatz detailliert im Hinblick auf Unzulänglichkeiten zu untersuchen. Der Trainings-Datensatz sollte möglichst vollständig den gesamten Betriebsbereich der Funktion beinhalten, was besonders im Straßenverkehr unmöglich ist. Daher wird, wie bereits erwähnt, der Einsatzraum eingeschränkt, um eine ausreichende Abdeckung im Trainingsset zu gewährleisten.
Des Weiteren kommen synthetisch erzeugte Daten zum Einsatz, um das Trainingsset Schritt für Schritt zu vervollständigen. Der Test-Datensatz wiederum sollte besonders seltene und schwere Fälle enthalten, sogenannte Corner Cases, um prüfen zu können, ob das DNN auch damit zurechtkommt.
Wichtig zu verstehen ist, welchen Effekt die Wahl der Architektur und Parameter des Modells auf die Vorhersagen und Performance hat. Außerdem ist bei der Evaluation zu definieren, welche Konfidenz erreicht werden muss, um sicher zu sein, dass es sich um das jeweilige Objekt handelt. Zusätzlich stellt sich die Frage, welche Genauigkeit bei der Lokalisierung der Objekte notwendig ist. Beides ist abhängig vom Ziel und Aufbau des Gesamtsystems: Wenn es ausreicht, einen Fußgänger nur zu erkennen und dessen Position nicht besonders entscheidend ist, mag eine geringere Lokalisierungsgenauigkeit ausreichen. Handelt es sich jedoch um eine Funktion, bei der es sehr entscheidend ist, dass der gesamte Körper in seiner Bewegung möglichst korrekt lokalisiert wird, ist eine möglichste exakte Abbildung nötig, um eine Kollision mit dem Fußgänger auszuschließen.
Besonderes Augenmerk ist während der Evaluation auf die Daten und Objekte zu richten, die das Model korrekt erkennen kann. Gibt es bestimmte Gründe, warum manche Objekte nicht richtig identifiziert werden? Zeichnet sich eine Fehlersystematik ab? Hier forscht das Fraunhofer IKS an Methoden, um solchen systematischen Fehlern des Modells auf die Spur zu kommen.
Ein weiterer Aspekt auf Gesamtsystemebene, um eine sichere Erkennungsfunktion zu entwickeln, ist es, nicht nur das DNN und die verwendeten Datensets zu betrachten. Vielmehr gilt es, parallel auch Maßnahmen während des Entwicklungsprozesses und zur Laufzeit miteinzubeziehen, um die Sicherheit der Funktion zu gewährleisten, und die Effektivität dieser Maßnahmen zu beurteilen.
Sie wollen mehr zu den Absicherungsmethoden des Fraunhofer IKS für sicherheitsrelevante KI-Systeme erfahren? Dann kontaktieren Sie gerne unser Business Development für ein persönliches Gespräch.
Wie bereits erwähnt, sind während der Entwicklung die Datensätze sorgfältig zu erstellen sowie eine geeignete DNN-Architektur und Parameter auszuwählen. Andere Module der Gesamtsystem-Architektur parallel zu entwickeln und zu koppeln, wie ein Runtime Monitoring System, das zur Laufzeit Inputs und Outputs plausibilisiert, kann besonders zur Laufzeit helfen. Das Gleiche gilt für eine Out-of-Distribution Detection, welche nicht verarbeitbare Daten erkennt.
Das Fraunhofer IKS arbeitet an Methoden und Tools, um am Ende eine valide Sicherheitsargumentation aufbauen zu können. Dies beinhaltet, die Ergebnisse aus den Untersuchungen des Modells, der Datensets und anderer Systemkomponenten kombiniert zu betrachten. Dabei geht es unter anderem um folgende Ansätze:
Dieses Vorhaben wurde im Rahmen des Projekts Unterstützung des thematischen Aufbaus des Instituts für Kognitive Systeme durch das Bayerische Staatsministerium für Wirtschaft, Landesentwicklung und Energie gefördert.
