Interview mit Mario Trapp und Florian Geissler
»Wir verbinden die Stärken von GPT mit denen von etablierten Sicherheits-Werkzeugen«

Prof. Dr.-Ing. Mario Trapp:

Safety bedeutet vereinfacht, dass das Risiko, das für einen Menschen durch ein System entsteht, gering sein muss. Die Prüfung, ob das der Fall ist, muss daher letztlich immer ein Mensch übernehmen, der für die Sicherheit des Systems geradesteht. Durch die rasant steigende Systemkomplexität bei immer kürzeren Entwicklungszyklen, ist dies manuell ohne automatisierte Unterstützung kaum zu schaffen. Durch Generative Künstliche Intelligenz (KI) entstehen nun aber ganz neue Möglichkeiten, dem menschlichen Safety Engineer einen intelligenten, KI-basierten Safety Companion zur Seite zu stellen, um auch für komplexe Systeme in sehr kurzen Zyklen Sicherheitsnachweise zu führen und anzupassen. Der Mensch behält dabei den gesamten Prozess unter Kontrolle. Aber der Safety Companion unterstützt ihn bei dieser Aufgabe als KI-basierte Assistenz, um effizienter arbeiten zu können.

Prof. Dr.-Ing. Mario Trapp:

Jeder, der GPT schon einmal genutzt hat, stellt fest, dass die Antworten nicht immer stimmig oder sogar komplett falsch sind. Man weiß nie, ob die Antworten auf Fakten beruhen oder frei erfunden sind. Häufig ist das auch gar nicht so einfach zu prüfen. Daher wird der Einsatz von generativer KI gerade bei der Unterstützung für Sicherheitsnachweise schnell zur Fehlerquelle und schafft einiges an Zusatzaufwand, anstatt Aufwand zu reduzieren. Man kann daher zwar dem Fraunhofer IKS Safety Companion analog zu GPT Fragen stellen und Aufgaben geben. Im Hintergrund verbindet der Companion aber alle bestehenden Informationen aus den Dokumenten eines Unternehmens mit der Ausführung klassischer Safety-Analysen, mit bestehenden Werkzeugen sowie mit Entwicklungsmodellen, Analysewerkzeugen und Simulationen etc.. Er verbindet also die Intuitivität, die man von GPT kennt, mit der Effizienz und Belastbarkeit qualitätsgeprüfter Informationen und bestehenden professionellen Werkzeugen.

Dr. Florian Geissler:

Unser Ansatz besteht darin, dass wir Agenten entwickeln, denen im Kern LLM-Anfragen (Large Language Models), aber auch nicht-KI-basierte Funktionen zu Verfügung stehen. Der Agent orchestriert komplexe Probleme und entscheidet, welche Aufgaben an das LLM herangeführt werden und welche nicht. Bezogen auf sicherheitskritische Aufgaben heißt das, dass der Agent bestimmten Richtlinien folgt, um Unsicherheiten zu minimieren. Kritische Teilaufgaben können z.B. mit externen Funktionen gelöst werden, andere dagegen am besten mit LLMs.

Dr. Florian Geissler:

Die schon angesprochene Komplexität wird deutlich reduziert, d.h. Aufgaben, die für Entwickler schwer zu erfassen sind und monotone Aufgaben, die fehleranfällig sind, werden automatisiert. Im Ergebnis wird die Effizienz deutlich erhöht, die Entwicklung erfolgt schneller, und das alles unter bestmöglicher Gewährleistung der Sicherheit. Außerdem können sich menschliche und KI-Kreativität in vielen Fällen gut ergänzen: Tatsächlich haben wir in mehreren Fällen gesehen, dass LLMs sehr gut darin sein können, »out-of-the-box« zu denken. Das hilft menschlichen Entwicklern, ihre Denkmuster zu überprüfen.

Prof. Dr.-Ing. Mario Trapp:

Wie eingangs erwähnt »spielen« wir nicht einfach mit GPT, sondern verbinden die Stärken von GPT mit denen von etablierten Modellen und Werkzeugen. Dieses klassische Engineering mit dem Potenzial der KI und einem dialog-basierten Benutzungserlebnis zu verknüpfen, ermöglicht eine signifikante Steigerung der Automatisierung mit zuverlässigen Ergebnissen. Und das macht den Unterschied des Fraunhofer IKS Safety Companion zu anderen Lösungen.

Prof. Dr.-Ing. Mario Trapp:

Gerade im Kontext autonomer Systeme ist es kaum möglich, alle denkbaren und undenkbaren Umgebungsfaktoren vom Regen bis zur Verdeckung von Objekten manuell zu analysieren – der Fraunhofer IKS Safety Companion kann hier sehr effiziente Vorarbeit leisten. Bei der Erstellung von Safety-Analysen und Sicherheitskonzepten, kann der Companion viele Schritte automatisieren und damit auf das Unternehmenswissen zurückgreifen, um qualifizierte Vorschläge zu unterbreiten – dadurch lassen sich Entwicklungszeiten reduzieren Wenn man etwa im Rahmen von DevOps ein Systemupdate vornimmt, kann der Safety Companion den Impact der Änderung ermitteln, konkrete nachzuholende Nachweise identifizieren und teils auch bereits Lösungsvorschläge liefern – dadurch können moderne Updatezyklen auch in sicherheitsrelevanten Anwendungen eingehalten werden.

Dr. Florian Geissler:

Im Bereich von Mobility gibt es viele mögliche Anwendungsfälle, wie etwa die Entwicklung oder Verifikation von komplexen Systemarchitekturen. Komplexe Fehlerketten von einzelnen Komponenten können so besser analysiert, und deren Sicherheitsargumentationen unterstützt werden. Im Bereich von Medizin und Gesundheit sehen wir wiederum, dass komplexe Zusammenhänge zwischen Krankheitssymptomen, Medikamenten und Patientendaten vorliegen. Dabei sind Dokumentationen oft verstreut oder unvollständig. Hier können Agenten etwa Vorschläge zu Wirkketten beitragen, oder Behandlungsmethoden vorschlagen.

Dr. Florian Geissler:

Im Gespräch mit Industrievertretern sehen wir oft ähnliche »pain points«: Die Komplexität von Systemen nimmt zu und wird schwer beherrschbar, gleichzeitig herrscht ein großer Zeitdruck, Sicherheitszertifizierungen durchzuführen, d.h. der Bedarf an Automation steigt. Generative Sprachmodelle haben hier ein riesiges Unterstützungspotenzial. Gleichzeitig gibt es eine gewisse Zurückhaltung vieler Nutzer, KI in ihren Sicherheits-Zertifizierungsprozess zu integrieren. Wir möchten zunächst zeigen, dass generative KI und Sicherheit miteinander vereinbar sind. Und zwar dann, wenn eine entsprechende Anleitung von LLMs, z.B. durch sicherheitsbewusste Agenten stattfindet. Wir wollen nicht das Gesamtproblem mit Sprach-KIs lösen, sondern menschliche Entscheider nach besten Kräften unterstützen. Zusammen mit unseren Industriepartnern wollen wir dieses Konzept in die reale Anwendung bringen.