Die Vier-plus-Eins-Sicherheits-Architektur

Belastbare Qualitätsgarantien für die Sicherheit autonomer Systeme stellen Industrie wie Forschung noch immer vor große Herausforderungen. Häufig wird diese Herausforderung auf einen einzelnen von verschiedenen Lösungsansätzen reduziert: zum Beispiel auf neue Testverfahren, klassische Überwachungsarchitekturen oder Qualitätsmetriken. »Dabei kommt es hier, wie bei jedem Sicherheits- oder Zuverlässigkeitskonzept auch darauf an, die richtige Kombination der passenden Bausteine zu finden«, sagt apl. Prof. Dr. habil. Mario Trapp, geschäftsführender Leiter des Fraunhofer-Instituts für Kognitive Systeme IKS.

Adaptive Safety Management

Das Fraunhofer-Institut für Kognitive Systeme IKS verwendet dazu das Konzept einer Vier-plus-Eins-Sicherheits-Architektur. Auf der ersten Ebene ist es nötig, die Künstliche Intelligenz selbst anzupassen, um von Blackbox-Ansätzen zumindest zu Greybox-Ansätzen zu kommen. Diese ermöglichen es, die Qualität der KI zu bewerten. Dabei liegt der Fokus auf neuen Architekturen und Metriken, die einen belegbaren Beitrag zum Sicherheitsnachweis liefern.

Die zweite Ebene überwacht die KI auf funktionaler Ebene als Blackbox. Grundlage dafür sind spezielle Fehleranalysen, aus denen sich maßgeschneiderte Monitore ableiten lassen. Für sich alleine wäre diese Überwachung aber zu konservativ. Zudem wäre sie entweder unsicher oder würde durch zu viele false positives die Zuverlässigkeit zu sehr reduzieren. Daher ist es wichtig, die Blackbox-Überwachung mit den Ergebnissen der ersten Ebene zu kombinieren, um eine effiziente Überwachung zu ermöglichen.

Mit der dritten Ebene geht der Ansatz über den klassischen Umfang von Sicherheits-Architekturen hinaus. Statt lediglich Fehler zu erkennen und darauf zu reagieren, erhalten die Systeme im Rahmen eines Adaptive Safety Managements die Fähigkeit, das aktuelle Sicherheitsrisiko selbst zu bewerten und sich selbst so anzupassen, dass sie eine bestmögliche Performanz ohne eine Verletzung von Sicherheitsrisiken erreichen. »Anstelle konservativer Worst-Case-Annahmen zur Entwicklungszeit lassen sich nicht nur wesentlich kosteneffizientere Systeme entwickeln, sondern sie werden zudem in die Lage versetzt, auch mit unvorhergesehenen Situationen umzugehen«, erläutert Trapp. Denn mit zunehmender Intelligenz der Funktion müssten auch die Sicherheitsarchitekturen intelligenter werden.

Systematisch aus Felderfahrungen lernen

Trotz all dieser Maßnahmen ist mit einer höheren Fehlerdichte zu rechnen. Gerade mit der schrittweisen Einführung Kognitiver Systeme samt stetig wachsendem Funktionsumfang ergibt sich allerdings die Möglichkeit, aus Felderfahrung zu lernen, ohne die Sicherheit zu gefährden. Daher ist eine vierte Ebene der Sicherheitsarchitektur essenziell, die analog zum Continuous Engineering das Continuous Safety Management ermöglicht. Über dieses lernt man systematisch aus Felderfahrungen, um nicht nur das Produkt im Sinne von Safe DevOps schnell zu verbessern, sondern auch das nötige Wissen zur Absicherung Kognitiver Systeme systematisch aufzubauen und dadurch die Safety-Prozesse zu verbessern.

Flankiert werden diese Ebenen durch eine orthogonale Ebene der Methoden zum Sicherheitsnachweis und zur Qualitätssicherung. Während man bei bisherigen Systemen häufig mit pauschalen Sicherheitsarchitekturen arbeiten konnte, wird dies für Kognitive Systeme zu kostspielig. »Die Sicherheitsarchitekturen müssen daher optimal an das System angepasst werden«, unterstreicht Trapp. »Dies wiederum lässt sich nur mit sehr effizienten und effektiven Analysemethoden umsetzen, ohne die es schwer werden würde, kosteneffiziente und trotzdem sichere Kognitive Systeme auf den Markt zu bringen.«

Sie wollen Ihre autonomen Systeme absichern?

Dann informieren Sie sich über unsere Angebote rund um Safety-Architekturen für KI-basierte Systeme und kontaktieren Sie uns: https://www.iks.fraunhofer.de/...

Anmeldung zum SAFE INTELLIGENCE Newsletter

Sie wollen immer auf dem aktuellsten Stand sein und regelmäßig Informationen zum Fraunhofer IKS erhalten? Dann melden Sie sich hier zu unserem Newsletter an: www.iks.fraunhofer.de/newsletter