Interview Simon Burton
»Ich habe immer eine große Affinität zur Forschung gehabt.«

Simon Burton:

Teilweise schon. Wobei es hier nicht um Albtraumszenarien geht, wie in Hollywood-Movies, in denen hyperintelligente Roboter die Menschheit beherrschen. Vielmehr geht es um die Art von KI, die aktuell für viele sicherheitsrelevante Aufgaben diskutiert wird: das sogenannte Maschinelle Lernen. Das bringt einige neue Herausforderungen bei der Absicherung gegenüber bisherigen Software-basierten Ansätzen mit sich.

Simon Burton:

Dafür gibt es verschiedene Ursachen. Erstens: Wir setzen KI da ein, wo eine detaillierte Spezifikation der Funktion nicht möglich ist, zum Beispiel für die Erkennung von Objekten in komplexen Verkehrssituationen. Dies hat zur Folge, dass wir uns schwertun, die eigentlichen Sicherheitsanforderungen an die Funktion zu definieren. Zweitens sind die Berechnungen der Algorithmen für uns Menschen kaum nachzuvollziehen. Deshalb fällt es uns schwer zu validieren, ob sich die Funktion das »Richtige« gedacht hat. Und drittens produzieren die Algorithmen ungenaue Aussagen wie »mit 80 Prozent Konfidenz ist das Objekt ein Mensch«. Dabei gibt es natürlich immer wieder Fälle, in denen die Algorithmen trotzdem zu 100 Prozent danebenliegen.

Simon Burton:

Hier sehe ich die Wissenschaft nicht nur in der Pflicht, die Performanz solcher Ansätze zu verbessern, sondern auch einen adäquaten Nachweis zu liefern, dass die daraus resultierenden Systeme ausreichend sicher sind. Das akzeptierte Maß an Sicherheit hängt auch vom wahrgenommenen Nutzen des Systems ab und muss deshalb als Teil eines gesellschaftlichen Diskurses besprochen werden. Es ist wichtig, ethische sowie rechtliche Erwartungshaltungen an das System abzuleiten. Aber auch, dass Wissenschaft und Industrie die technischen Grenzen der Fähigkeiten dieser Systeme aufzeigen.

Simon Burton:

KI wird zurzeit für viele Perzeptionsaufgaben herangezogen, von der Fußgängererkennung im autonomen Fahren bis zur Überwachung der Sicherheitsabstände in der Produktion und der Diagnose von Krankheitsbildern in der Medizintechnik. Diese Aufgaben stellen eine Art von Achillesferse für die Sicherheit des Systems dar, falls sie nicht zuverlässig durchgeführt werden. Ein System, das seine Umgebung nicht richtig wahrnimmt, wird nicht in der Lage sein, sichere Aktionen durchzuführen.

Simon Burton:

Wir arbeiten auf verschiedenen Ebenen, um die Sicherheit von KI-basierten Systemen zu gewährleisten. Auf der Ebene der Funktion bringen wir der KI das Zweifeln bei. Das heißt, die Funktion soll erkennen, dass sie in eine Situation kommt, die in der Trainingsphase so nicht aufgetreten ist. Deshalb ist den Antworten der Funktion nicht zu trauen. Auf Systemebene wollen wir diese Information verwenden, um das Verhalten des Systems in einer solchen Situation adaptiv zu regeln. Das geschieht mit dem Ziel, Risiken aus einer unsicheren Perzeption zu minimieren. Dazu entwickeln wir Methoden, womit wir überzeugende Nachweise für die Performanz der KI-Funktionen sammeln, um diese in eine strukturierte Argumentation für die Sicherheit zu integrieren, was dann für die Freigabe der Systeme verwendet werden kann.

Simon Burton:

Ein konkretes Beispiel einer unserer Ansätze ist die sogenannte »Uncertainty Quantification« . Damit kann man das Maß an Konfidenz in die Richtigkeit einer Einschätzung der KI-Funktion berechnen.

Simon Burton:

Ich habe immer eine große Affinität zur Forschung gehabt. Ich finde es unheimlich motivierend, Struktur in wichtige Problemstellungen zu bringen und somit einen Mehrwert für die Gesellschaft zu leisten. Die Frage, wie man komplexe, autonome, KI-basierte Systeme »sicher« im Sinne der safety macht, finde ich faszinierend. Sie hat mich in den vergangenen Jahren bereits intensiv beschäftigt. Insbesondere die fächerübergreifenden Sichtweisen, die hierfür nötig sind, bedingen eine interdisziplinäre Zusammenarbeit, in der man wegen der verschiedenen Perspektiven ständig neue Ansichten kennenlernt. Ich freue mich sehr, mit einem sehr talentierten und diversen Team beim IKS dieser Frage nachzugehen und eine nachhaltige Wirkung in diesem Forschungsfeld zu erzielen.

Simon Burton:

Während meiner Zeit in der Industrie war ich oft für Forschungsteams und die wissenschaftliche Strategie zuständig. Ich habe aber genau so viel Erfahrung in der konkreten Entwicklung von sicherheitsrelevanten Systemen und im Consulting. Ich kann deshalb beide Perspektiven gut nachvollziehen. Durch meine Arbeit in der Industrie habe ich ein Verständnis für die praktischen Herausforderungen des Technologietransfers entwickelt. Das wird uns am IKS helfen, unsere wissenschaftlichen Ergebnisse zu verbreiten. Außerdem habe ich Erfahrungen darin, neue Organisationen zu gründen, die dann wachsen, was uns in der aktuellen Phase des Institutsaufbaus zugutekommen sollte.

Simon Burton:

Ich schätze viele Tugenden der Deutschen sehr. Die strukturierte Arbeitsweise mit Schwerpunkt auf die Sicherheit ist eine davon. Diese Eigenschaft ist aber kein »Exklusivrecht« der Deutschen. An der University of York in England habe ich vor rund 20 Jahren meine Doktorarbeit über die Verwendung formaler Ansätze zur Absicherung sicherheitsrelevanter Software geschrieben.

Inzwischen, im Rahmen einer Gastprofessur, pflege ich immer noch sehr enge Beziehungen zu York. Da arbeite ich mit Kollegen aus verschiedenen Disziplinen, unter anderem aus der Philosophie und Rechtswissenschaft, zusammen, um das Thema Sicherheit von komplexen und autonomen Systemen ganzheitlich zu betrachten. Zusammen mit meiner doppelten Staatsbürgerschaft sowie meiner Erfahrung, in verschiedenen Ländern zu arbeiten, gibt mir das sicherlich eine etwas breitere Perspektive auf das Leben, beruflich sowie privat.