Erst der Einsatz von Machine-Learning, insbesondere von Deep Learning, ermöglicht viele hochkomplexe Anwendungen, wie etwa das autonome Fahren. Was die Absicherung solcher Systeme betrifft, gilt es aber auch, neue Herausforderungen zu meistern. Ein Überblick.
18. Juni 2020
© iStock.com/Tom de Waart
Autonome Fahrzeuge sind mit einer Vielzahl verschiedener Sensoren ausgestattet – von Kameras über Radar- und Lidarsysteme hin zu Ultraschallsensoren. Diese liefern kontinuierlich große Mengen an Daten über ihre Umgebung. Allerdings können diese Daten, in ihrer unverarbeiteten Form, nicht ohne Weiteres für die Steuerung der Fahrzeuge genutzt werden. Hier kommt die Perzeption ins Spiel, das heißt die Interpretation dieser Sensordaten. Im Kontext autonomer Fahrzeuge bedeutet das beispielsweise die Erkennung von Objekten auf Kamerabildern. Die präzise und verlässliche Wahrnehmung der Umwelt ist dabei essenziell für autonome Fahrzeuge: Von ihr hängt die Steuerung maßgeblich ab, etwa in welche Richtung und mit welcher Geschwindigkeit gefahren werden soll.
Dabei ist verlässliche Perzeption keine leichte Aufgabe, vor allem nicht, wenn die Systeme in verschiedensten Situationen eingesetzt werden sollen. Dort ist zu berücksichtigen, dass die Sensoren etwa durch die Wetterbedingungen beeinträchtigt werden können. Ebenso ist es möglich, dass Situationen und Objekte auftreten, welche so zuvor noch nicht beobachtet wurden. Mit klassischen, handgefertigten Algorithmen lässt sich diese Komplexität jedoch nicht erfassen. Deshalb kommt hier vor allem das Machine Learning zum Einsatz, insbesondere tiefe neuronale Netze (Deep Neural Networks, DNN). Diese müssen selbstverständlich ebenfalls abgesichert werden. Das wiederum wirft aufgrund der datengetriebenen Natur der Algorithmen neue Herausforderungen auf. Drei dieser Herausforderungen im Kontext der Perzeption, mit denen wir uns als Fraunhofer IKS befassen, stellen wir hier vor.
Moderne DNNs sind sich häufig zu sicher in ihren Vorhersagen. Dies ist unter anderem dadurch bedingt, dass durch die immer größeren Netzarchitekturen insgesamt mehr und mehr Evidenzen bezüglich der einzelnen Vorhersagemöglichkeiten gesammelt werden. Im abschließenden Schritt wird die Wahrscheinlichkeitsverteilung über die Vorhersagemöglichkeiten erstellt. Durch den Einsatz der sogenannten Softmax-Funktion kommt es dann dazu, dass, den Vorhersagemöglichkeiten mit den meisten Evidenzen eine überproprtional hohe Wahrscheinlichkeit zugewiesen wird. Der Grund dafür liegt in der exponentiellen Natur der Softmax-Funktion.
© iStock.com/Just-Super
Für autonome Fahrzeuge ist die präzise und verlässliche Wahrnehmung der Umwelt von entscheidender Bedeutung.
Gerade in sicherheitskritischen Bereichen ist es jedoch erforderlich, dass neuronale Netze zuverlässig ihre Unsicherheit ausdrücken. Das ermöglicht es, präventiv zu handeln und potentiell kritische Situationen zu vermeiden. Lösungsansätze zu diesem Thema haben wir bereits in zwei Beiträgen veröffentlicht, »Uncertainties, auf die man sich verlassen kann« und »Der KI das Zweifeln beibringen: So geht’s«.
Ein weiteres Problem tritt auf, wenn einem neuronalen Netz ein Konzept, beispielsweise ein Objekt, präsentiert wird, welches es während der Trainingsphase nicht gesehen hat. Denn statt keine Antwort zu geben, wird das Netzwerk versuchen, Muster in der unbekannten Eingabe zu finden, welche zu den bekannten Konzepten passen. Das Beispiel eines Klassifikators, der darauf trainiert wurde, Bilder von Katzen und Hunden zu kategorisieren, macht dies deutlich: Hier würde beispielsweise das Präsentieren eines Elefanten dazu führen, dass den beiden Kategorien Hund und Katze Wahrscheinlichkeiten zugewiesen wird, welche sich zu 100 % aufsummieren.
Der Grund hierfür ist, dass das Netzwerk auch in dem Elefantenbild Evidenzen in Form von Mustern findet, welche es gelernt hat, um Hunde von Katzen zu unterscheiden. Auch wenn dabei womöglich insgesamt weniger übereinstimmende Muster gefunden werden, wird am Ende dennoch eine Wahrscheinlichkeitsverteilung über die bekannten Kategorien gebildet, aus welcher diese Tatsache nicht mehr erkenntlich wird. Das Erkennen solcher unbekannten Eingaben, auch als Out-of-Distribution Detection oder Novelty Detection bekannt, ist notwendig, da es sonst zu einer fehlerhaften Wahrnehmung der Umwelt kommen kann. Weiterführende Entscheidungen basieren damit auf falschen Annahmen, was schließlich ein Fehlverhalten des Gesamtsystems auslösen kann.
Der naheliegende Ansatz, nämlich eine eigene Kategorie für unbekannte Konzepte einzuführen, ist allerdings nur schwer realisierbar, da hierfür die Muster aller unbekannten Konzepte gelernt werden müssten. Vielversprechender sind Ansätze, die zur Laufzeit beobachten, welche Neuronen zu einem gegebenen Zeitpunkt aktiviert sind. Dieses Aktivierungsmuster wird verglichen mit den während des Trainings beobachteten Mustern. Unterscheiden sich diese zu sehr, so kann es sich um ein nicht gelerntes Konzept handeln.
Eine weitere Möglichkeit ist, ein Netzwerk zu trainieren, welches eine stark vereinfachte Repräsentation der bekannten Konzepte erstellen und aus diesen Repräsentationen wieder die Ausgangsbilder rekonstruieren kann. Bei bekannten Konzepten ist der Unterschied zwischen den Ein- und Ausgabebildern dabei gering, neuartige Konzepte hingegen weisen einen deutlich höheren Fehler bei der Rekonstruktion auf.
Als letzte Herausforderung sei noch die unzureichende Erklärbarkeit moderner neuronaler Netze genannt.
Diese haben, gerade im Bereich der Perzeption, üblicherweise mehrere Millionen Parameter, auch Neuronengewichte genannt. In Folge ist es einem Menschen nicht mehr möglich, zu beurteilen, auf welchen Grundlagen das neuronale Netz eine Entscheidung getroffen hat. In diesem Zusammenhang spricht man auch von einem DNN als Black Box. Für eine Argumentation bezüglich der Sicherheit eines Systems, welches ein neuronales Netz einsetzt, wäre es jedoch äußert hilfreich, den Vorhersageprozess transparenter zu gestalten. Damit könnte sichergestellt werden, dass ein Netzwerk auch die richtigen Merkmale für die Vorhersage nutzt und nicht beispielsweise Eisbären von Grizzlies aufgrund des häufigeren Vorkommens von Schnee bei ersteren unterscheidet.
Im Bereich der erklärbaren KI gibt es dabei qualitative und quantitative Lösungsansätze. Erstere befassen sich beispielsweise damit, auf dem Eingabebild zu visualisieren, wie viel Einfluss jeder einzelne Pixel auf das Ergebnis hatte. Man spricht dabei vom Heatmapping oder von Saliency Maps. Eine weitere Methode ist das Visualisieren der gelernten Muster und wie diese über die verschiedenen Ebenen des Netzwerkes miteinander interagieren. Für eine vollständige Sicherheitsargumentation erweisen sich qualitative Methoden jedoch nicht als ausreichend. Sie führen jedoch zu Erkenntnissen, welche bei der Entwicklung neuronaler Netze und bei der Analyse von Fehlern helfen, die nie vollständig ausgeschlossen werden können.
Im Gegensatz dazu geht es bei quantitativen Ansätzen unter anderem um das Lernen von Konzepten und Mustern, die auch für den Menschen interpretierbar sind. So könnte ein neuronales Netz beispielsweise trainiert werden, Fahrzeuge anhand konkreter Bestandteile wie Reifen oder Windschutzscheiben zu erkennen. Diese Bestandteile wiederum können ebenfalls in konkrete Komponenten aufgegliedert werden.
Herkömmliche neuronale Netze lernen zwar ebenfalls Hierarchien von Mustern und Konzepten, der Unterschied liegt darin, dass bei diesen Ansätzen des erklärbaren Lernens explizit festgelegt wird, welche Komponenten gelernt werden sollen oder bereits gelernte Muster zu konkreten, interpretierbaren Konzepten zusammengefasst werden.
Die vorgestellten Lösungsansätze für die Probleme neuronaler Netze sollen diese robuster machen und stellen weitere Informationen zur Verfügung, um ihren Zustand zu beurteilen.
Zusätzlich sind jedoch sichere Vorgehensweisen und Architekturen um die neuronalen Netze herum notwendig, wie beispielsweise die Vier-plus-Eins-Sicherheits-Architektur.
Erst mit Hilfe eines ganzheitlichen Sicherheitskonzepts wird es möglich sein, die Sicherheit auch bei komplexesten Aufgaben, für welche der Einsatz von Machine-Learning-Komponenten erforderlich ist, zu gewährleisten.
Auf unserer Website finden Sie unsere Leistungen in den Bereichen Zuverlässige Künstliche Intelligenz und Safety-Architekturen für KI-basierte Systeme. Oder kontaktieren Sie direkt bd@iks.fraunhofer.de.
