In modernen Perzeptionsanwendungen etwa in der Medizintechnik kommen aufgrund ihrer starken Performance vermehrt Modelle auf Basis Künstlicher Intelligenz (KI) zum Einsatz. Allerdings geht diese steigende Leistungsfähigkeit häufig auf Kosten der Nachvollziehbarkeit von Ergebnissen. Ein vom Fraunhofer-Institut für Kognitive Systeme IKS entwickeltes Online Tool schafft hier Abhilfe.
29. Juli 2021
© iStock.com/alvarez
In vielen Bereichen, von der Medizintechnik bis zur Logistik, sind Perzeptionsmodelle auf Basis Künstlicher Intelligenz (KI) nicht mehr wegzudenken. Sie haben allerdings ein Problem damit, ihre getroffenen Vorhersagen (predictions) selbst einzuschätzen. Vor allem die in vielen Bereichen bereits etablierten neuronalen Netze haben besonders große Schwierigkeiten mit der Selbsteinschätzung der getroffenen Vorhersagen. Dies ist für viele Anwendungen kein Problem, da von den Vorhersagen keine potenzielle Gefahr ausgeht. Im sicherheitskritischen Bereich kann dies aber verheerende Folgen haben. Beispielsweise kann ein Arzt einem KI-basierten visuellem System zur Diagnostik zu viel Vertrauen schenken, wenn das Modell mit hoher Konfidenz fälschlicherweise keine Krankheitsmuster erkennt.
In solch einem Fall wäre es wünschenswert, dass das System die Vorhersage trifft, sich nicht sicher zu sein. Ähnlich ist es beim autonomen Fahren, wo es einen deutlichen Unterschied für das Gesamtsystem macht, wenn ein Objekt mit hoher oder niedriger Konfidenz erkannt wird, da es für den Planungsprozess der Fahrmanöver eine entscheidende Rolle spielt. In manchen Fällen ist zudem nicht nur ein nicht entdecktes Objekt in der Fahrzeugumgebung ein Problem. Ebenso kann ein mit hohem Konfidenzwert falsch entdecktes Objekt zu einer fehlerhaft eingeleiteten Vollbremsung und damit zu einem riskanten Szenario führen.
Mehr zum Online Tool des Fraunhofer IKS erfahren Sie auf unserer Website. Lesen Sie gleich weiter:
Der Großteil der Forschung und Entwicklung solcher KI-gestützten Modelle fokussiert sich darauf, klassische Performance-Metriken wie zum Beispiel die Accuracy zu maximieren. Dieser Wert gibt an, wie viele der relevanten Daten, zum Beispiel in einem Klassifizierungsproblem, richtig zugeordnet wurden. Während diese Metriken auch bei der Sicherheit von KI-basierten sicherheitskritischen autonomen Systemen eine große Rolle spielen, werden andere sehr wichtige Aspekte davon nicht berücksichtigt: So ist etwa ein Modell, welches den falschen Vorhersagen eine hohe Unsicherheit zuordnet, einem anderen Modell, welches dies nicht tut, vorzuziehen – selbst bei identischer Accuracy.
Das vom Fraunhofer IKS entwickelte Online Tool setzt genau hier an. Es liefert Benutzerinnen und Benutzern tiefe Einblicke in die ganzheitliche Verlässlichkeit der gegebenen Vorhersagen. Dafür werden speziell auf sicherheitskritische Anwendungen bezogene, allgemein publizierte und vom Fraunhofer IKS entwickelte, Safety-spezifische Metriken zur Beurteilung der Ergebnisse herangezogen und erklärt. Zudem bietet das Tool umfassende Visualisierungen, um schnell zu erfassen, wo Schwachstellen des Modells lauern. Es werden zudem detaillierte Interpretationen und Verbesserungsvorschläge gegeben, die in vielen Fällen helfen können, das geprüfte System robuster zu machen.
Darüber hinaus werden je nach Problem potenzielle Methoden vorgeschlagen, die in der Regel einfach zu implementieren sind. Sie können die Robustheit signifikant verbessern und basieren auf vorherigen Experimenten am Fraunhofer IKS mit großen öffentlichen Datensätzen. Die Benutzung des Tools ist ganz einfach und es werden auch keine potenziell urheberrechtlich geschützten Modelle oder Datensätze dafür benötigt.
Auf der Website muss der Benutzer lediglich eine einfach zu formatierende Json- oder XLS-Datei mit Vorhersagen und Ergebnissen seines KI-Modells hochladen, um die Analyse zu starten. Nachdem die Evaluierung abgeschlossen ist, hat die Anwenderin auch die Möglichkeit, die detaillierte Analyse als einheitliches Dokument im PDF-Format herunterzuladen.
Das Online Tool wird voraussichtlich ab Herbst diesen Jahres allgemein zur Verfügung stehen. Interessierte können schon vor Veröffentlichung des Tools an einem User-Testing teilnehmen. Bitte melden Sie sich hier an und wir vereinbaren gerne einen Termin.
Dieses Vorhaben wurde im Rahmen des Projekts Unterstützung des thematischen Aufbaus des Instituts für Kognitive Systeme durch das Bayerische Staatsministerium für Wirtschaft, Landesentwicklung und Energie gefördert.
