Interview
»Wir müssen das gesamtheitliche Sicherheitskonzept im Blick halten«

Mario Trapp:

Wenn wir über kognitive Systeme sprechen, meinen wir technische Geräte und Maschinen, die durch die Nutzung von Künstlicher Intelligenz (KI) ganz neue Möglichkeiten eröffnen. Das geschieht dadurch, dass wir zum Beispiel Sensordaten auswerten und Daten aus dem Netzwerk nutzen können, um dann mit Verfahren des Lernens die Funktionalität dieser Maschinen und Geräte abzubilden. Dadurch ergeben sich ganz neue Optionen wie das autonome Fahren und das autonome Fliegen, die Interaktion mit Robotern, aber auch neue Medizingeräte mit nie gekannten Fähigkeiten in Diagnose und Therapie.

Mario Trapp:

Das Stichwort lautet hier Safe Intelligence. Safety und Intelligence sind bislang getrennte Bereiche gewesen. Ein Kognitives System kann entweder safe, also sicher, oder intelligent sein. Was die große Herausforderung ist und in wesentlichen Teilen auch in vielen Branchen den Wettbewerb entscheiden wird, ist Intelligenz und Safety wirklich in Einklang zu bringen. Und genau dafür steht Safe Intelligence und die Forschung des Fraunhofer-Instituts für Kognitive Systeme IKS.

Künstliche Intelligenz ist in vielen Bereichen sehr gut, sie funktioniert meistens gut – aber meistens ist eben nicht ausreichend, wenn es um Menschenleben geht, zum Beispiel beim autonomen Fahren. Dann muss es Sicherheitsgarantien geben, dass von der Software keine Gefahren ausgehen für den Nutzer. Die Mission des Fraunhofer IKS ist es, die Frage zu beantworten: Wie kann ich das Potenzial der Intelligenz, die von Software ausgeht, nutzen, ohne Sicherheit und Zuverlässigkeit der Systeme zu gefährden?

Mario Trapp:

Wenn wir über Safe Intelligence sprechen, dann reden wir natürlich über Safety, aber Sicherheit alleine ist nicht ausreichend. Ein Auto, das in der Garage steht, ist tendenziell sicher, aber nicht verfügbar, nicht zuverlässig. Das heißt: Wir müssen immer Safety in Zusammenhang mit Zuverlässigkeit sehen, weil nur dann kann ich tatsächlich einen Nutzen liefern. Und wenn ich Sicherheit und Zuverlässigkeit zusammenbringe, ist das fachlich gesehen im Deutschen der Begriff Verlässlichkeit, im Englischen Dependability. Das bringt zum Ausdruck, dass es nicht reicht, einfach nur ein Kognitives System samt KI daran sicher zu machen, sondern wir müssen es sicher und zuverlässig machen.

Mario Trapp:

Um KI sicher zu machen, ist es wichtig, zunächst den Fokus auf das System zu legen. Also müssen wir nicht die KI alleine sicher machen, sondern das System. Deswegen ist es wichtig, das gesamtheitliche Sicherheitskonzept im Blick zu halten. Das Fraunhofer IKS arbeitet da über vier Ebenen: Ich muss zum einen natürlich die KI an sich absichern, sie erklärbar und robust machen und ich muss sie nachvollziehen können. Die KI alleine wird aber immer eine Fehleranfälligkeit haben, die höher ist als bei klassischer Software. Also brauche ich auf der zweiten Ebene eine Überwachung, die mit klassischen Prinzipien die KI überwacht und nur dann z. B. den Zugriff auf Lenkung erlaubt, wenn ich in der Absicherung zu einer positiven Bewertung gekommen bin. Aber da Safety immer vom schlimmsten Fall ausgeht, werde ich beim Einsatz von KI kein kosteneffizientes Produkt bauen können. Das heißt wiederum: Auf der dritten Ebene bringen wir Dynamik ins System. Wir werden die direkte Situation zur Laufzeit erfassen, dynamisch Risikobewertungen vornehmen und aus dieser dynamischen Risikobewertung heraus die Sicherheitskonzepte anpassen. Und auf der vierten Ebene werden wir letzten Endes lernen müssen, Schritt für Schritt. Uns fehlen die allgemein anerkannten Prinzipien, wie man KI absichert. Also müssen wir Konzepte entwickeln, wie wir dieses Wissen schnellstmöglich aufbauen können und über Felddaten lernen können.

Mario Trapp:

Bei Kognitiven Systemen geht es eben nicht nur um KI, sondern um Systeme. Und der Begriff Systeme ist hier nach wie vor gleichbedeutend mit komplexen Softwaresystemen. Darin ergibt sich die Intelligenz aus mehr als der reinen KI: Wir kennen sehr viele Verfahren, etwa vom Smartphone, mit dem man Apps herunterladen kann, wir kennen die serviceorientierte Welt aus den Cloud-Technologien. Wenn wir diese übertragen in technische Systeme und Maschinen, sind das sehr große Herausforderungen Und genau da liegt die Erfahrung des ESK. Wie kann ich flexible und hochzuverlässige Architekturen bauen, wie kann ich hochvernetzte Systeme bauen – das sind alles Erfahrungen, auf die wir zurückgreifen können auf dem Weg zu Kognitiven Systemen. Wenn wir diese bestehenden Kompetenzen erweitern um KI, dann kommen wir zu Kognitiven Systemen. Und nur in der Kombination können wir tatsächlich Kognitive Systeme bauen.

Mario Trapp:

Für uns sind letzten Endes alle Branchen relevant, in denen man wirklich eine Verlässlichkeitsaussage für KI oder intelligente Software braucht. Das sind zum einen Branchen, wo Menschenleben davon abhängen wie beim autonomen Fahren. Es sind aber auch die Branchen, wo wir es zum Beispiel mit großen betriebswirtschaftlichen Risiken zu tun haben: Wenn die Anlage stillsteht in der Produktion aufgrund einer Fehleinschätzung der KI, dann kommen immense Kosten auf ein Unternehmen zu. Das heißt: In all den Branchen, in denen KI nur dann zum Erfolg wird, wenn es auch Qualitätsgarantien gibt, in denen sind wir aktiv.