Autonomes Fahren
Komplexe Systeme sind eine Herausforderung für die Sicherheit

Bei der Gewährleistung der Sicherheit automatisierter Fahrsysteme sind sowohl technologische als auch gesellschaftliche und rechtliche Aspekte zu berücksichtigen.

mask Straßenkreuzung von oben

Menschliches Versagen ist mit Abstand für die meisten Verkehrsunfälle verantwortlich. Fahrzeugdefekte spielen im Vergleich dazu eine relativ unbedeutende Rolle. Automatisierte Fahrsysteme haben daher das Potenzial, die Straßen deutlich sicherer zu machen: Sie optimieren den Verkehrsfluss und sie erkennen Gefahren auf der Strecke und reagieren darauf. Und: Automatisierte Fahrsysteme halten den Schaden durch unaufmerksame und unzuverlässige menschliche Fahrer in Grenzen.

Durchbrüche auf dem Gebiet der Künstlichen Intelligenz (KI) und insbesondere der Einsatz von Maschinellem Lernen zur Wahrnehmung des Umfelds und der Reaktion des Fahrzeugs darauf werden als Schlüssel zur Verwirklichung des automatisierten Fahrens angesehen. Die ersten Schritte zur Einführung dieser Technologie sind getan. Doch trotz des anfänglichen Hypes und der massiven Investitionen vollziehen sich die Fortschritte deutlich langsamer als ursprünglich erwartet. Hinzu kommen aufsehenerregende Unfälle selbstfahrender Autos mit Schwerverletzten und Todesfällen. Diese untergraben das Vertrauen in die Technologie und machen gleichzeitig die Notwendigkeit neuer Perspektiven für die Sicherheit dieser automatisierten Fahrsysteme deutlich.

Grenzen des Systems sind oft unklar

Aber die Sicherheit des automatisierten, und erst recht des autonomen Fahrens zu gewährleisten, ist ein komplexes Unterfangen. Die Aufgabe gestaltet sich nicht nur technisch schwierig und ressourcenintensiv. Vielmehr weisen autonome Fahrzeuge und ihr weiterer sozio-technischer Kontext Merkmale komplexer Systeme im engeren Sinne auf. Zum Beispiel sind die Grenzen des zu betrachtenden Systems oft unklar.

Wenn man sich auf die funktionale Leistung eines automatisierten Fahrzeugs konzentriert, könnte man das System als eine Menge elektronischer Komponenten ansehen, welche die Umgebung erfassen, über Steuerungsaktionen entscheiden und diese über Aktoren umsetzen. Betrachtet man jedoch einen Mobilitätsdienst als Ganzes, so umfasst das System auch andere Verkehrsteilnehmer, Rettungsdienste und die Infrastruktur der Stadt oder der Autobahn. Interaktionen zwischen all diesen Komponenten können erhebliche Auswirkungen auf die Sicherheit haben.

Eine weitere Herausforderung bei der Entwicklung von automatisierten Fahrsystemen ist die Kluft zwischen den gesellschaftlichen und rechtlichen Erwartungen an das Verhalten der Systeme einerseits und die Fähigkeit von Wirtschaft und Wissenschaft andererseits, die technischen Funktionen präzise zu spezifizieren bzw. zu definieren und zu testen. Das ist vor allem auf einen Zusammenhang zurückzuführen: Die Umgebung, in der die Fahrzeuge operieren, ist an sich schon komplex und entwickelt sich ständig weiter. Daher kann sie während der Entwicklung des Fahrzeugs nicht vollständig spezifiziert werden. Ein Beispiel: Das Aussehen und Verhalten aller möglichen Fußgänger so genau zu definieren, dass sie vom autonomen Fahrzeug genau erkannt werden können, ist enorm schwierig. Die Anzahl der möglichen Szenarien, in denen ein Fahrzeug sicher agieren muss, ist einfach zu groß, um sie vollständig zu spezifizieren, geschweige denn zu testen.

Maschinelles Lernen liefert oft zweifelhafte Ergebnisse

Aus diesem Grund wird Maschinelles Lernen als Schlüssel zum automatisierten Fahren angesehen. Algorithmen des Maschinellen Lernens werden darauf trainiert, Fußgänger auf Basis von Videosignalen zu erkennen, und das mit Hilfe einer großen Anzahl repräsentativer Beispieldaten. Allerdings entsteht ein neues Problem: Die Entscheidungsfindung dieser Technologie ist undurchsichtig, unpräzise und unvorhersehbar, wobei geringfügige Änderungen der Eingaben zu unterschiedlichen, im schlimmsten Fall fehlerhaften Ergebnissen führen können.

Und schließlich hat die Verlagerung der Entscheidungsfindung vom Fahrer auf das System selbst Konsequenzen. Das System muss unter oft mehrdeutigen Umständen kritische Entscheidungen treffen, die andernfalls eine ethische Beurteilung und Interpretation rechtlicher Einschränkungen und sozialer Normen erfordern würden.

All diese Punkte zusammen schränken unsere Fähigkeit, traditionelle Sicherheitsmaßnahmen sowohl während der Entwicklung als auch während des Betriebs der Systeme anzuwenden, stark ein: Sie führen zu Lücken in der Sicherheitsgarantie solcher Systeme, der Regulierung (governance), der Haftung sowie der moralischen Verantwortung.

Derzeit werden Normen entworfen, die sich mit dem technischen Prozess der Entwicklung sicherer automatisierter Fahrsysteme befassen. Darüber hinaus sollen EU-Vorschriften erarbeitet werden, die sowohl die Einführung teilautomatisierter Fahrzeuge unterstützen als auch ethische Anforderungen an den Einsatz von KI berücksichtigen. Diese Bemühungen sind ein bedeutender und wichtiger Schritt in Richtung eines vertrauenswürdigen Einsatzes von autonomen und KI-basierten Systemen zum Wohle der gesamten Menschheit.

Wie sicher ist »sicher genug«?

Allerdings bleibt eine Reihe von Fragen nach wie vor unbeantwortet. Und es bedarf eines interdisziplinären Kraftakts, um Fortschritte zu erzielen. So besteht etwa ein Spannungsverhältnis zwischen der Notwendigkeit, ein Sicherheitsniveau zu erreichen, das mindestens so gut ist wie das eines menschlichen Fahrers (die sogenannte positive Risikobilanz) und der allgemeinen Ablehnung der Gesellschaft von vermeidbaren Risiken, insbesondere solchen, die systematischer Natur sind. Das heißt: Selbst, wenn automatisiertes Fahren beispielsweise zu einer Netto-Reduzierung der Zahl der Verkehrstoten führen könnte, würde ein signifikant erhöhtes Risiko von Unfällen in bestimmten Situationen dennoch nicht toleriert werden. Dies führt zu einer nicht trivialen Definition, wann solche Systeme »sicher genug« sind und ob diese Frage allein mit Statistiken zufriedenstellend beantwortet werden kann.

Die Beantwortung dieser offenen Fragen erfordert ein stärkeres Systemdenken nicht nur auf der technischen Ebene des Engineerings, sondern auch beim Betrieb und der Regulierung dieser Systeme; ebenso eine viel engere Zusammenarbeit der beteiligten Gruppen. Dies setzt einen ethisch fundierten Ansatz bei der Entwicklung solcher Systeme voraus, bei dem explizit formulierte ethische Richtlinien wie die Freiheit vor Diskriminierung in konkrete technische Eigenschaften des Systems übersetzt werden müssen. Darüber hinaus muss eine ingenieur-wissenschaftlich geprägte gesellschaftliche Diskussion geführt werden, die auf der Basis eines tieferen Verständnisses der technischen Möglichkeiten und Grenzen der Technologie die ethischen und rechtlichen Anforderungen an das System verdeutlicht.


Dieser Beitrag erschien zum ersten Mal im Rahmen des »Innovationssymposiums Künstliche Intelligenz« des »Behörden Spiegel« im Juni 2021 als Artikel im Konferenzmagazin.

Nächster Artikel

Komplexe Systeme
Automatisiertes Fahren und Sicherheit – eine breitere Perspektive

Simon Burton
Simon Burton
Safety Engineering / Fraunhofer IKS
Safety Engineering