Safer Autonomous Systems
Safety by Design – Entwicklung sicherheitsbewusster autonomer Systeme

Zwei Forscher des Fraunhofer-Instituts für Kognitive Systeme IKS arbeiten derzeit als Teil des European Training Network for Safer Autonomous Systems. Wir möchten Ihnen die Forscher und ihre Projekte vorstellen, die darauf abzielen, inhärent sichere autonome Systeme zu entwickeln. Den Anfang macht Yuan Liao.

mask Kleine grüne Blätter

Das European Training Network for Safer Autonomous Systems (SAS) ist ein internationales Projekt, das im Zuge des EU-Rahmenprogramms für Forschung und Innovation »Horizon 2020« finanziert wird. Im Rahmen des Training Networks erhalten ehrgeizige Nachwuchsforscher über die Marie-Skłodowska Curie Actions individuelle Unterstützung, innovative Lösungen für sicherere autonome Systeme zu entwickeln. Projektpartner aus Forschung und Industrie nehmen die Forscherinnen und Forscher auf, teilen ihr Wissen und bieten ihnen die Möglichkeit, ihre Lösungen innerhalb der gastgebenden Institution anzuwenden.

Das SAS-Ausbildungsnetzwerk – eine EU-weite Zusammenarbeit mit einem gemeinsamen Ziel

Das Kernziel des SAS-Projekts ist die Entwicklung nachweislich sicherer autonomer Systeme. Sicherheit ist der Schlüssel, um Vertrauen in diese neuen Technologien zu schaffen. Das Projekt verfolgt einen ganzheitlichen Ansatz für die Absicherung autonomer Systeme. Die Einzelprojekte jedes Forschers erstrecken sich über das gesamte Spektrum des Innovationsflusses und bauen dabei aufeinander auf: vom Implementieren von Sicherheitsmechanismen in das Softwaredesign der Softwarekomponenten, über das Sammeln von Nachweisen für die Systeme, bis hin zu Strategien zur Gewährleistung von Sicherheit für konkrete Anwendungsfälle. Solche stringenten Sicherheitsstrategien sind notwendig, um vertrauenswürdige autonome Systeme zu entwickeln.

Fehler erkennen und rechtzeitig eingreifen

Autonome Systeme wie Produktionsroboter oder Nutzfahrzeuge müssen sicherheitsbewusst werden. Das ist eine zentrale Herausforderung, um diese hilfreichen Technologien auch in sicherheitskritischen Kontexten einsetzen zu können. Ein Ansatz, um dieses Ziel zu erreichen, ist die Selbst-Adaption (self-adaption). Dies bedeutet, dass das System in der Lage ist, Fehlfunktionen im eigenen System zu erkennen und rechtzeitig einzugreifen, indem es automatisch auf eine Sicherheitseinstellung umschaltet. Eine potenzielle Fehlerquelle kann nicht-vertrauenswürdige Middleware sein, die für eine dynamische Echtzeitanpassung benötigt wird. In seiner Forschung will Yuan Liao dieses Problem lösen, indem er neuartige Fehlerbehandlungsansätze für die dynamische Anpassung zwischen sicherheitskritischen Systemen und nicht-vertrauenswürdiger Middleware entwickelt.

Yuan Liao

Yuan Liao ist wissenschaftlicher Mitarbeiter am Fraunhofer IKS und forscht im Rahmen des SAS Training Network an sicheren autonomen Systemen.

Yuan Liao, der Forscher hinter dem Projekt

Yuan Liao ist Marie Skłodowska-Curie Actions Fellow und Doktorand innerhalb des SAS-Projekts. Er studierte eingebettete Systeme an der ESIGELEC in Rouen, Frankreich und der USST in Shanghai. Im Rahmen des SAS-Projekts vertieft er seine Fähigkeiten auf dem Gebiet der Softwareentwicklung für den Automobilsektor mit besonderem Fokus auf Safety-Engineering.

Aufgrund seiner Arbeitserfahrung im Bereich Testautomatisierung in der Automobilindustrie interessiert sich Liao sehr für die Erforschung der Zuverlässigkeit und Sicherheit von autonomen Systemen. Dabei ist er sich der Komplexität der Systemtechnik und ihrer sicherheitstechnischen Bedeutung für die Gesellschaft bewusst.

Verbesserte autonome Fähigkeiten, aber auch neue Risiken

Gegenwärtig konzentrieren sich Forscher autonomer Systeme hauptsächlich auf die Entwicklung KI-basierter Algorithmen zur Verbesserung der autonomen Fähigkeiten und der Sicherheitsleistung. »Das daraus resultierende nicht-deterministische oder nicht-lineare Verhalten würde jedoch zu mehr unvorhergesehenen Risiken für die Gesamtsysteme führen, sowohl durch interne als auch externe Faktoren«, sagt Liao.

Die traditionellen Entwurfszeit-basierten Gegenmaßnahmen gehen in der Regel von Worst-Case-Annahmen für den Umgang mit Ausfallsituationen aus. Dies führt allerdings nicht zu einer angemessenen Systemleistung. Daher untersucht Liao dynamische Anpassungsstrategien, um mehr Freiheitsgrade für die Selbstanpassung an die sich verändernden Umgebungen zu erreichen.

Das Ziel des Safety-Engineerings ist es, Leben zu schützen, was mich motiviert, in genau diesem Gebiet zu forschen.

Yuan Liao

Herausforderungen für die Safety dynamisch-adaptiver Systeme

Eine der Sicherheitsherausforderungen ist die Auswirkung von nicht-deterministischen Algorithmen. Immer mehr autonome Systeme beinhalten hoch-performante, nicht-deterministische Algorithmen zur Verbesserung der autonomen Fähigkeiten. Auf der anderen Seite sind mehr interne und externe Unsicherheiten unvermeidlich, was die Zuverlässigkeit des Systems weiter beeinträchtigt.

Das am häufigsten verwendete Betriebssystem für autonome Systeme ist ROS1. Liao beschreibt in seinem Projektbeitrag, wie bei der Entwicklung von ROS2 Performance-Schwächen von ROS1 angegangen werden. Er interessiert sich insbesondere auch für die Sicherheitsanforderungen, die jede neue Plattform für autonome Systeme enthalten sollte.

Auch wenn die Sicherheit ein primärer Faktor für autonome Systeme ist, sollte die Leistung des Systems nicht durch umfangreiche Sicherheitseingriffe beeinträchtigt werden.

Yuan Liao

Sicherheit und Leistung im Gleichgewicht

Die von Liao entwickelte Plattform enthält Middleware-Spezifikationen, die sicherheitskritische Komponenten erkennen und sich durch Anwendung von Sicherheitskonfigurationen automatisch anpassen. Er verwendet einen MAPE-K-Cycle als Rahmenwerk für die Entwicklung seiner adaptiven Plattform. Ziel des Projekts ist es, eine Laufzeit-Absicherung zu schaffen, die auch unter Fehlerbedingungen funktioniert. Dafür definiert Liao Sicherheitsregeln, um immer die optimale Sicherheitskonfiguration für die aktuelle Situation zu bestimmen.

»Auch wenn die Sicherheit ein primärer Faktor für autonome Systeme ist, sollte die Leistung des Systems nicht durch umfangreiche Sicherheitseingriffe beeinträchtigt werden«, fordert Liao. In der Entwicklung von ROS2 würden daher nicht nur Flaschenhälse bei der Performanz wie Datenrate, Latenz, Speicherverbrauch behoben. Vielmehr werde auch die Robustheit und Verlässlichkeit verbessert. »Es geht darum, einen Single Point of Failure zu verhindern, also Ausfallpunkte, die den Ausfall des gesamten Systems nach sich ziehen.«

Safety by Design – Sicherheitsstandards setzen

Das Open-Source-Programm ROS1 ist das am häufigsten verwendete Betriebssystem für autonome Systeme. Daher könnte die Einbettung aufwendiger Sicherheitsstandards direkt in das Design des derzeit entwickelten ROS2 einen Multiplikator-Effekt haben, erwartet Liao. Das würde auch dem Ziel des SAS-Projekts dienen, inhärent sichere autonome Systeme zu entwickeln, also solche, bei denen Sicherheit eine Grundvoraussetzung ist.

Bei sicherheitskritischen Systemen wie dem autonomen Fahren muss die Sicherheit der Kern der Anpassungsmechanismen sein.

Yuan Liao

»Erstens müssen autonome Systeme mehr Raum für Freiheitsgrade haben, damit sie automatisch eine angemessene Sicherheitsleistung wählen können, anstatt immer vom Worst-Case auszugehen«, erläutert Liao. Das bedeute, dass unterschiedliche Niveaus von Sicherheitsanforderungen mit geeigneten Sicherheitsgarantien während der Laufzeit übereinstimmen müssen. Dies könne einen flexibleren Betrieb in sicherheitskritischen Umgebungen ermöglichen. »Zweitens fehlen bei den derzeitigen Ansätzen für die nicht-vertrauenswürdige Middleware allgemeine Sicherheitsmechanismen«, stellt Liao fest. »Entwickler widmen ihre Aufmerksamkeit eher der Untersuchung von Anpassungsstrategien. Bei sicherheitskritischen Systemen wie dem autonomen Fahren muss aber die Sicherheit der Kern der Anpassungsmechanismen sein.«

Das Ziel von Liaos Projekt ist es, mit modellbasierten Analysetechniken nachzuweisen, dass das Verhalten eines Systems unter allen Umständen sicher bleibt. Dieser Ansatz zur Quantifizierung und Gewährleistung der Sicherheit ist wichtig um sicherzustellen, dass ein System keine Schäden an Eigentum oder Personen verursacht. Sicherheit messbar zu machen, ist notwendig, um Qualitätsstandards festzulegen und die Sicherheitszertifizierung dieser hochdynamischen Systeme zu ermöglichen.


Im nächsten Artikel steht das Teilprojekt von João-Vitor Zacchi im Mittelpunkt. Darin entwickelt er, aufbauend auf Yuan Liaos Arbeit, dynamische Absicherungsstrategien über Echtzeit-Safety-Contracts.


This project has received funding from the European Union's EU Framework Programme for Research and Innovation Horizon 2020 under Grant Agreement No # 812788

Europaflagge

Anmeldung zum SAFE INTELLIGENCE Newsletter

Sie wollen immer auf dem aktuellsten Stand sein und regelmäßig Informationen zum Fraunhofer IKS erhalten? Dann melden Sie sich hier zu unserem Newsletter an: www.iks.fraunhofer.de/newsletter

Nächster Artikel

Wo Künstliche Intelligenz heute schon sicherheitskritische Entscheidungen trifft

Florian Stark / Fraunhofer IKS
Florian Stark
Fraunhofer blog icon mono koginitve systeme
Kognitive Systeme