Auszeichnung für vier Forscher des Fraunhofer-Instituts für Kognitive Systeme IKS: Ihr Beitrag zur Messung von Uncertainties in Deep Neural Networks hat den Best Paper Award des Workshops SafeAI 2020 in New York gewonnen. Verliehen wurde der Preis vom anwesenden Fachpublikum.
27. Februar 2020
© iStock.com/DrPAS
Aktuelle Modelle zur Messung von Unsicherheit (uncertainty) bei Deep Neural Networks im Vergleich: Darum geht es im Paper der IKS-Forscher Maximilian Henne, Adrian Schwaiger, Karsten Roscher und Gereon Weiß. Auf der SafeAI 2020, einem Workshop der Association for the Advancement of Artificial Intelligence (AAAI) in New York, hat Adrian Schwaiger, wissenschaftlicher Mitarbeiter am Fraunhofer IKS, die Ergebnisse des Papers präsentiert.
Offenbar traf er damit den Nerv der rund 50 anwesenden Forscherinnen und Forscher aus dem Bereich sichere Künstliche Intelligenz (KI). Aus fünf vorgeschlagenen Beiträgen wurde die Veröffentlichung des Fraunhofer IKS mit dem Best Paper Award ausgezeichnet, zusammen mit einem weiteren Paper.
Adrian Schwaiger freut sich über diese Anerkennung: »Das ist eine tolle Bestätigung, dass die Arbeit des eigenen Teams auch in der wissenschaftlichen Community als interessant, relevant und qualitativ hochwertig angesehen wird.«
© Fraunhofer IKS/Andreas Jacobs
Adrian Schwaiger, wissenschaftlicher Mitarbeiter am Fraunhofer IKS, hat das Paper zur Messung von Uncertainties in Deep Neural Networks auf der SafeAI 2020 in New York präsentiert.
Das Paper trägt den Titel »Benchmarking Uncertainty Estimation Methods for Deep Learning With Safety-Related Metrics«. Deep Neural Networks liefern im Allgemeinen sehr gute Vorhersagen, allerdings erkennen sie nicht, wann diese Vorhersagen falsch sein können. Das ist besonders bei Anwendungen in sicherheitskritischen Bereichen problematisch, beispielsweise im Straßenverkehr oder in der Medizintechnik. Um KI in diesen Bereichen einsetzen zu können, muss sie erkennen, wie zuverlässig ihre Vorhersagen sind. Unsicherheit (uncertainty) muss dazu zunächst messbar werden. Vor diesem Hintergrund bewerten und vergleichen die Autoren des vorgestellten Papers verschiedene Modelle zur Schätzung von Unsicherheit bei der Bildklassifizierung durch Künstliche Intelligenz. Ein besonderer Fokus liegt dabei auf dem jeweiligen Trade-Off zwischen Sicherheit (Safety) und Performance.
Die Ergebnisse des Papers stammen von Arbeiten aus den Projekten ICRI SAVe und dem ADA Lovelace Center. Im Rahmen der Intel Collaborative Research Institutes (ICRI) fördert Intel die Zusammenarbeit des eigenen Unternehmens mit international führenden Universitäten und Forschungseinrichtungen, unter anderem dem Fraunhofer IKS.
Im neuen Kompetenzzentrum ADA Lovelace Center for Analytics, Data and Applications kommen Unternehmen mit führenden nationalen und internationalen KI-Forscherinnen und -Forschern zusammen, um gemeinsam an konkreten Projekten zu arbeiten. Beteiligt sind neben dem Fraunhofer IKS die Fraunhofer-Institute IIS und IISB sowie die Friedrich-Alexander-Universität Erlangen-Nürnberg und die Ludwig-Maximilians-Universität München.
Die Folien zur Präsentation des Papers auf dem SafeAI Workshop finden Sie hier, das Paper haben wir Ihnen unten verlinkt:
Conference Paper, 2020
Abstract –
Deep neural networks generally perform very well on giving accurate predictions, but they often lack in recognizing when these predictions may be wrong. This absence of awareness regarding the reliability of given outputs is a big obstacle in deploying such models in safety-critical applications. There are certain approaches that try to address this problem by designing the models to give more reliable values for their uncertainty. However, even though the performance of these models are compared to each other in various ways, there is no thorough evaluation comparing them in a safety-critical context using metrics that are designed to describe trade-offs between performance and safe system behavior. In this paper we attempt to fill this gap by evaluating and comparing several state-of-the-art methods for estimating uncertainty for image classifcation with respect to safety-related requirements and metrics that are suitable to describe the models performance in safety-critical domains. We show the relationship of remaining error for predictions with high confidence and its impact on the performance for three common datasets. In particular, Deep Ensembles and Learned Confidence show high potential to significantly reduce the remaining error with only moderate performance penalties.
Haben Sie Fragen zum Thema und zu den Angeboten des Fraunhofer IKS? Dann besuchen Sie unsere Website zum Thema Zuverlässige Künstliche Intelligenz.
Sie wollen immer auf dem aktuellsten Stand sein und regelmäßig Informationen zum Fraunhofer IKS erhalten? Dann melden Sie sich hier zu unserem Newsletter an: www.iks.fraunhofer.de/newsletter
