Komplexe Systeme
Automatisiertes Fahren und Sicherheit – eine breitere Perspektive

In verschiedenen Blogbeiträgen an der University of York habe ich ein Framework skizziert, um die Sicherheit automatisierter Fahrsysteme stichhaltig nachzuweisen. Das Framework kombiniert viele verschiedene Ansätze, die derzeit in der Entwicklung sind. Es ist noch viel Arbeit nötig, sowohl in der Forschung als auch in der Industrie, bevor automatisierte Fahrfunktionen der Stufe 4 sicher und in der Breite auf den Markt gebracht werden können.

Zunächst einmal gilt es, die inhärente technische Komplexität eines Systems zu berücksichtigen, das in der Lage ist, sich in einer so vielfältigen und dynamischen Umgebung sicher zu bewegen. Dabei werden immer Schwachstellen in der Leistung des implementierten Systems bleiben, zumindest in bestimmten Situationen.

Zweitens setzen sich die Methoden zur Bestimmung, ob das System sicher genug ist, auch mit erheblichen Unsicherheiten auseinander – beginnend mit der Definition dessen, was »sicher genug« eigentlich bedeutet. Dazu gehören aber auch die vielen Abhängigkeiten von nicht-technischen Fragen, wie Annahmen über das Verhalten anderer Verkehrsteilnehmer sowie die gesellschaftliche Akzeptanz des Restrisikos solcher Systeme.

Dieses Muster der Unsicherheit bei der Gewährleistung von Sicherheit solcher komplexen Systeme ist nicht nur beim automatisierten Fahren zu beobachten. Im Allgemeinen werden die Infrastruktur und die soziotechnischen Systeme, auf die wir uns verlassen, um uns gesund zu halten und die Wirtschaft florieren zu lassen, immer komplexer und vernetzter. Denken Sie nur an die Auswirkungen, die die COVID-19-Pandemie auf das Gesundheitswesen hatte, sowie an die Folgewirkungen auf die Wirtschaft, das Bildungswesen und die meisten anderen Lebensbereiche.

Sicherere komplexe Systeme

Vor diesem Hintergrund der immer weiter zunehmenden Komplexität hat die Royal Academy of Engineering, in Zusammenarbeit mit der Lloyd's Register Foundation, das Programm »Safer Complex Systems« ins Leben gerufen.

Im Rahmen dieses Programms haben meine Kollegen und ich an der University of York eine erste Studie durchgeführt, in der Fallstudien und die Resonanz von Stakeholdern aus den Bereichen Luftfahrt, Mobilität, Gesundheitswesen, Lieferketten und anderen untersucht werden.

Ein Drei-Schichten-Modell

Um die komplexen Interdependenzen zwischen technischen und nicht-technischen Sichtweisen auf die Systemsicherheit zu erfassen, haben wir das Framework in drei Ebenen angelegt:

• Governance – die Anreize und Anforderungen für Organisationen, sich an best practices zu halten, entweder durch direkte Regulierung, so genannte »Soft Law«-Ansätze, oder durch einen Konsens in Form von nationalen und internationalen Standards. Bei der Formulierung dieser Standards und Regulierungen repräsentieren Regierungen und Behörden die Erwartungen der Gesellschaft an das akzeptable Niveau des Restrisikos, das mit den Systemen verbunden ist.

• Management –Koordinierung der Aufgaben, die mit Design, Betrieb und Wartung der Systeme verbunden sind, was Folgendes ermöglicht: Risikomanagement und fundierte Abwägungen zum Design über Unternehmensgrenzen hinweg, Kontrolle über geistiges Eigentum und Haftung, Management der Lieferketten-Dynamik und Erhaltung von langfristigem institutionellen Wissen für langlebige und sich entwickelnde Systeme.

• Interaktion und Technik – der technische Entwurfs- und Sicherheitsanalyse-Prozess, der es ermöglicht, Systeme mit einem akzeptablen Risikoniveau einzusetzen und dann aktiv zu überwachen. So ist sichergestellt, dass Abweichungen oder Lücken zwischen vorhergesagter und tatsächlicher Aktivität erkannt und behoben werden können. Diese Schicht umfasst die technologischen Komponenten und die Aufgaben, die von den Anwendern, Betreibern und Stakeholdern in einem soziotechnischen Kontext ausgeführt werden. In einigen Fällen können »Nutzer« unfreiwillige oder unwissende Teilnehmende des Systems sein, die dennoch von einem Risiko betroffen sind.

Ziel ist es, die Auswirkungen der Komplexität auf jeder Ebene und die Wechselwirkungen zwischen den Ebenen systematischer zu untersuchen. Dazu verwenden wir das folgende Modell, um die Effektivität von Maßnahmen zur Erhöhung der Sicherheit in komplexen Systemen zu identifizieren und zu analysieren, die sowohl die Entwicklungs- als auch die Betriebszeit betreffen.

Zu den Ursachen für die Systemkomplexität auf der Governance-Ebene könnten beispielsweise mehrere Zuständigkeiten und politisierte Entscheidungsprozesse gehören. Dies bringt möglicherweise widersprüchliche Ziele bei der Regulierung mit sich, was letztlich dazu führt, dass unsichere Systeme mit unzureichender Rechenschaftspflicht zum Einsatz kommen. Auf der Ebene Interaktion und Technik könnte die geistig wenig stimulierende Aufgabe, ein automatisiertes System zu überwachen, zu sogenannter »automation complacency« (Selbstgefälligkeit bei der Automatisierung) führen, bei welcher der Bedienende letztlich nicht reagiert, wenn das System falsch läuft.

Automatisiertes Fahren als komplexes System

Um automatisiertes Fahren einsetzen zu können, ist aus meiner Sicht Folgendes unerlässlich: ein Verständnis der Faktoren, die die Systemkomplexität verursachen, deren Folgen im System und wie diese zu Systemfehlern führen können (über die drei genannten Ebenen hinweg). Und das in einer Weise, die sowohl aus rechtlicher als auch aus ethischer Sicht als akzeptabel sicher angesehen wird.

Zusätzlich zu der in meinen vorherigen Beiträgen vorgeschlagenen Methodik zur Gewährleistung der Sicherheit führt dies zu mehreren Empfehlungen für die Automobilindustrie:

• Definition des Begriffs »sicher« für automatisiertes Fahren und vernetzte Mobilitätsdienste – Wir brauchen einen industrieweiten Konsens und Regulierung zu den Sicherheitszielen für das automatisierte Fahren. Diese sollten sowohl quantitative Maßnahmen (z.B. basierend auf Unfallstatistiken) als auch qualitative Ansätze (basierend auf Engineering-Praktiken und Maßnahmen während des Betriebs) berücksichtigen, um ein akzeptables Risikoniveau zu erreichen.

• Fundierte, ergebnisorientierte, agile Regulierung – Traditionelle Ansätze zur Entwicklung von Standards können mit den schnellen technologischen Veränderungen, die den Wandel des Mobilitätssektors vorantreiben, nicht Schritt halten. Vorgeschlagen wird eine ergebnisorientierte Regulierung, die Anforderungen festlegt an das, »was« darzulegen ist, statt an das »wie«. Dies beinhaltet eine systemorientierte Sichtweise mit zusätzlichem Fokus auf die Darstellung der Effektivität von Kontrollen zur Risikominderung aufgrund der entstehenden Systemkomplexität.

• Maßnahmen zur Betriebszeit und kontinuierliche Absicherung – Es ist unrealistisch zu glauben, dass ein angemessenes Sicherheitsniveau erreicht werden kann, schon bevor ein hochautomatisiertes Fahrsystem eingesetzt wird – und über den gesamten Lebenszyklus des Fahrzeugs aufrechterhalten werden kann. Dazu muss ein größerer Fokus auf die Maßnahmen zur Betriebszeit gelegt werden, auch auf der Ebene des Betriebsmanagements und der Governance. Das gilt auch für die kontinuierliche Bewertung des Sicherheitsnachweises, der auf der Grundlage von Erfahrungen und sich ändernden Erwartungen an das System weiterentwickelt wird.

• Ganzheitliche Sicherheitsanalyse und Risikomanagement – Die Industrie muss die Entwicklung und Einführung von Methoden zur systematischen Risikoanalyse auf der Ebene eines Systems (von Systemen) fördern. Das umfasst das Fahrzeug selbst, die unterstützende Infrastruktur und die Fahrzeugumgebung. Dies muss der Komplexität auf der Ebene von Interaktion und Technik sowie sowie der Management- und Betriebsebene Rechnung tragen.

• Richtiger Umgang mit der Komplexität automatisierten Fahrens in Einklang mit dem Vertrauen in die Sicherheitsnachweise – Die Fähigkeiten, die für den sicheren Einsatz automatisierter Fahrsysteme erforderlich sind, müssen im Laufe der Zeit entwickelt und bestätigt werden. Das bremst die Geschwindigkeit der Markteinführung. Zu diesen Fähigkeiten gehören angemessene Kompetenzen im Bereich der Systemsicherheit, der Entwicklungs- und Validierungs-Toolketten und der in der Praxis bewährten technischen Komponenten. Darüber hinaus benötigen wir eine Bestätigung der Safety-Assurance-Methodik selbst sowie der Effektivität der aktuellen Regulierungsansätze.

Das Fraunhofer-Institut für Kognitive Systeme IKS arbeitet an Technologien und Methoden, um die Sicherheit von komplexen Systemen zu gewährleisten. Seine Forscherinnen und Forscher sind aktiv daran beteiligt, die neue Generation von Sicherheitsstandards für autonomes Fahren mitzugestalten.

"Safer Complex Systems: An Initial Framework" wird am heutigen 15. Juli von der Royal Academy of Engineering veröffentlicht. Neben einer detaillierteren Beschreibung des Frameworks dürften Vertreterinnen und Vertreter der Automobilindustrie den Abschnitt 5.2 über vernetzte und automatisierte Fahrzeuge besonders nützlich finden.

“Safer Complex Systems: An Initial Framework” is published today, 15 July, by the Royal Academy of Engineering. As well as a more in-depth description of the framework, those working in the automotive industry will find section 5.2 on connected and automated vehicles particularly useful.