Kognitive Systeme

Maschinelles Lernen (ML) wird oft anhand von Metriken wie Accuracy, Precision, Recall, F1-Score etc. bewertet. Doch wie vertrauenswürdig sind diese einzelnen Werte wirklich? Diese Metriken geben nur einen Teil der Realität wieder und können ein falsches Gefühl der Sicherheit vermitteln. Besonders in sicherheitskritischen Bereichen kann das gefährlich werden. Das Fraunhofer IKS arbeitet an einem formalen Framework, mit dem sich die Unsicherheit quantifizieren lässt. Damit werden Restrisiken »berechenbarer«.

Softwareentwicklung ist ein vergleichsweise junges, aber komplexes und sich schnell entwickelndes Gebiet. Eine der neueren Ergänzungen zum Portfolio von Softwarearchitekten sind Cloud-Technologien. Generell entkoppeln Cloud-Technologien Software und die für die Ausführung erforderlichen Ressourcen. Dadurch lassen sich die von der Software bereitgestellten Dienste schnell und bedarfsgerecht skalieren. Bei der Integration von Cloud-Technologien in Ihre Software-Architektur gibt es jedoch einige Fallstricke, über die man stolpern kann.

Der Leiter des Fraunhofer-Instituts für Kognitive Systeme IKS, Prof. Dr.-Ing. habil. Mario Trapp, ist seit dem vergangenen Monat Professor an der Technischen Universität München (TUM), genauer gesagt an der Fakultät für Informatik. Im Interview erzählt er mehr über seinen Lehrstuhl und seine Zielsetzungen in Forschung und Lehre.

Safe Intelligence ist das zentrale Forschungsthema des Fraunhofer-Instituts für Kognitive Systeme IKS. Ein sehr wichtiges Thema, in technischer ebenso wie in wirtschaftlicher und gesellschaftlicher Hinsicht. Das finden auch die beiden Vorsitzenden des Beirats für das IKS-Aufbauprojekt – und das jeder aus seiner Perspektive.

Zur fachlichen Begleitung des IKS-Aufbauprojekts hat das Fraunhofer IKS einen Beirat ins Leben gerufen. Am 14. April kam der Beirat zu seiner ersten regulären Sitzung zusammen. Die beiden Vorsitzenden Thomas Gallner und Prof. Dr. Thomas Seidl sprechen über ihre Motive, sich dort zu engagieren. Und über die Akzente, die sie dabei setzen wollen.

Experimentieren im Alltag – das macht Ania Kosmalska am liebsten. Mit einem Computerprogramm und elektronischen Gadgets. Inzwischen widmet sie aber ihrer kleinen Tochter einen großen Teil ihrer Freizeit. Teil zwei unserer Serie von Porträts unserer Mitarbeitenden.

Die Wissenschaft muss den Nachweis liefern, dass Systeme auf Basis Künstlicher Intelligenz (KI) ausreichend sicher sind. Das fordert Prof. Dr. Simon Burton, seit Kurzem Research Division Director Safety am Fraunhofer IKS. Im Interview erläutert er, welche Ansätze zur Absicherung das Institut verfolgt.

Die Vereinbarkeit von Sicherheit, Leistungsfähigkeit und Zuverlässigkeit in logikbasierten Kognitiven Systemen ist keine leichte Aufgabe. Gerade bei sicherheitskritischen autonomen Systemen wie fahrerlosen Autos geht man zu Recht davon aus, dass alle drei Anforderungen auf höchstem Niveau umgesetzt werden. Dies stößt jedoch auf begrenzte Ressourcen. Das Fraunhofer-Institut für Kognitive Systeme IKS hat einen Ansatz entwickelt, um Sicherheit, Leistungsfähigkeit und Zuverlässigkeit in Abhängigkeit von der aktuellen Situation und den konkreten Anwendungen zu optimieren: Flexilienz.

Tiefe neuronale Netze (Deep Neural Networks, DNNs) haben ihr Potenzial unter Beweis gestellt. Dies gilt vor allem für ihre Verwendung im Labor. Ihre Leistung beim Einsatz in der Praxis lässt allerdings zu wünschen übrig. Ein wesentliches Problem ist die Schätzung der Unsicherheit (uncertainty). Im Folgenden werden die Methoden näher betrachtet, die dieser Herausforderung gerecht werden.

Flexible Serviceorientierte Architekturen (SOA) in sicherheitskritischen Anwendungen? Das ist bislang quasi ausgeschlossen. Denn Dienste müssen verlässlich zur Verfügung stehen und Sicherheitsanforderungen zu jeder Zeit eingehalten werden. Mit resilientsoa hat das Fraunhofer IKS ein Software Framework entwickelt, das genau dies sicherstellt, das heißt: Service-Orchestrierung so sicher wie notwendig und so performant wie möglich.

Cloud-basierte Systeme sind auf eine stabile Verbindung zur Datenwolke angewiesen. Aber Verbindungsabbrüche passieren – darauf muss das System angemessen reagieren und gleichzeitig die Sicherheit garantieren. Wie, das zeigt das Fallbeispiel eines automatisierten Parksystems.

Die Bewältigung der vielfältigen Herausforderungen bei zuverlässigen cloud-basierten cyber-physikalischen Systems of Systems (CPSoS) erfordert neue Ansätze, die automatisiert und effizient genug sind, um einige Elemente des Systems in die Laufzeit zu verlagern. Zur Konzeption und Bewertung der Systemarchitektur hat das Fraunhofer IKS einen iterativen, automatisierten Prozess entwickelt.

Einen neuen Middleware-Ansatz für autonome Systeme verfolgt die ROS2-Plattform (Robot Operating System 2). Ein Überblick über Architektur, Funktionen und Vorteile.

In der Welt der Zukunft wird man auf weit verbreitete, massiv vernetzte, hochintelligente Systeme bauen. Um diese Vision zu verwirklichen, brauchen wir zuverlässige cloudbasierte cyber-physische Systeme. Die Forschung in dieser Richtung stößt auf ebenso viele Chancen wie Herausforderungen. Derartige Systeme existieren in sich verändernden Umgebungen und interagieren mit anderen Systemen und Menschen, wofür Intelligenz, Autonomie, Sicherheit und Anpassungsfähigkeit erforderlich sind – also eigentlich widersprüchliche Ziele. Ein Beispiel hierfür ist das autonome Fahren.

Maschinelles Lernen stellt eine enorme Herausforderung in punkto Sicherheit (Safety) dar. Ohne ein tragfähiges Konzept zur Absicherung kommen viele hervorragende Ideen erst gar nicht auf den Markt. Es ist daher nicht überraschend, dass KI-Sicherheit in den letzten Monaten viel mehr Aufmerksamkeit gewidmet wird. In einer kurzen Artikelreihe legen wir daher das Augenmerk auf die Bedeutung der Sicherheit für Künstliche Intelligenz. Der erste Artikel konzentriert sich dabei auf etwas ganz Grundsätzliches: Was bedeutet Sicherheit eigentlich? Ein Punkt ist hier ganz wichtig: sichere KI hat weniger mit KI selbst als vielmehr mit Safety Engineering zu tun.

Zwei Wissenschaftler des Fraunhofer IKS sind aktuell Teil des European Training Network for Safer Autonomous Systems (ETN SAS). Das durch das EU-Innovations-Rahmenwerk »Horizon 2020« geförderte Projekt hat zum Ziel, autonome Systeme zu schaffen, auf die sich Nutzerinnen und Nutzer verlassen können. João-Vitor Zacchi vom Fraunhofer IKS arbeitet dafür an Safety-Handling-Strategien für komplexe autonome Systeme.

Zwei Forscher des Fraunhofer-Instituts für Kognitive Systeme IKS arbeiten derzeit als Teil des European Training Network for Safer Autonomous Systems. Wir möchten Ihnen die Forscher und ihre Projekte vorstellen, die darauf abzielen, inhärent sichere autonome Systeme zu entwickeln. Den Anfang macht Yuan Liao.

Künstliche Intelligenz (KI) wird in Zukunft großen Einfluss auf unser Leben nehmen. Und schon jetzt hat KI in vielen Bereichen Einzug gehalten – auch dort, wo es um die Sicherheit von Menschen geht.

Fehler in autonomen Fahrzeugen gefährden Menschen und können schnell zu Unfällen mit schweren Verletzungen und sogar zu Verkehrstoten führen. Entsprechend müssen gerade auch für Kognitive Systeme und die darin enthaltene Künstliche Intelligenz (KI) stringente Sicherheitsnachweise erbracht werden.

Dr. Petra Steffens, Leiterin des Innovationsprogramms »Kognitive Systeme« am Fraunhofer IKS, spricht im Interview über das Vorgehen und die Ziele beim Aufbau des Instituts.

Künstliche Intelligenz sicher machen: Das ist die Mission des Fraunhofer-Instituts für Kognitive Systeme IKS. Zur Eröffnungsfeier Anfang Dezember trafen sich 170 Vertreterinnen und Vertreter aus Politik, Wissenschaft und Wirtschaft – hoch über den Dächern des Münchner Werksviertels.

apl. Prof. Dr. habil. Mario Trapp, Institutsleiter des Fraunhofer-Instituts für Kognitive Systeme IKS erzählt im Interview, mit welchen Kompetenzen das Institut Kognitive Systeme sicher macht.

Kognitive Systeme spielen eine entscheidende Rolle in der digitalen Transformation – unter der Voraussetzung, dass sie sicher, verlässlich und kostengünstig sind.