Interview Simon Burton
»Ich habe immer eine große Affinität zur Forschung gehabt.«

Die Wissenschaft muss den Nachweis liefern, dass Systeme auf Basis Künstlicher Intelligenz (KI) ausreichend sicher sind. Das fordert Prof. Dr. Simon Burton, seit Kurzem Research Division Director Safety am Fraunhofer IKS. Im Interview erläutert er, welche Ansätze zur Absicherung das Institut verfolgt.

mask Blaue Feder in der Nahaufnahme
Frage

Hans-Thomas Hengl:

Simon, Umfragen zu Künstlicher Intelligenz (KI) zeigen regelmäßig, dass die Menschen Bedenken wegen der Sicherheit äußern. Sind diese Vorbehalte gerechtfertigt?

Antwort

Simon Burton:

Teilweise schon. Wobei es hier nicht um Albtraumszenarien geht, wie in Hollywood-Movies, in denen hyperintelligente Roboter die Menschheit beherrschen. Vielmehr geht es um die Art von KI, die aktuell für viele sicherheitsrelevante Aufgaben diskutiert wird: das sogenannte Maschinelle Lernen. Das bringt einige neue Herausforderungen bei der Absicherung gegenüber bisherigen Software-basierten Ansätzen mit sich.

Frage

Hans-Thomas Hengl:

Warum ist das so?
Antwort

Simon Burton:

Dafür gibt es verschiedene Ursachen. Erstens: Wir setzen KI da ein, wo eine detaillierte Spezifikation der Funktion nicht möglich ist, zum Beispiel für die Erkennung von Objekten in komplexen Verkehrssituationen. Dies hat zur Folge, dass wir uns schwertun, die eigentlichen Sicherheitsanforderungen an die Funktion zu definieren. Zweitens sind die Berechnungen der Algorithmen für uns Menschen kaum nachzuvollziehen. Deshalb fällt es uns schwer zu validieren, ob sich die Funktion das »Richtige« gedacht hat. Und drittens produzieren die Algorithmen ungenaue Aussagen wie »mit 80 Prozent Konfidenz ist das Objekt ein Mensch«. Dabei gibt es natürlich immer wieder Fälle, in denen die Algorithmen trotzdem zu 100 Prozent danebenliegen.

Frage

Hans-Thomas Hengl:

Was kann die Wissenschaft tun, um den Menschen die Sicherheitsbedenken zu nehmen?

Antwort

Simon Burton:

Hier sehe ich die Wissenschaft nicht nur in der Pflicht, die Performanz solcher Ansätze zu verbessern, sondern auch einen adäquaten Nachweis zu liefern, dass die daraus resultierenden Systeme ausreichend sicher sind. Das akzeptierte Maß an Sicherheit hängt auch vom wahrgenommenen Nutzen des Systems ab und muss deshalb als Teil eines gesellschaftlichen Diskurses besprochen werden. Es ist wichtig, ethische sowie rechtliche Erwartungshaltungen an das System abzuleiten. Aber auch, dass Wissenschaft und Industrie die technischen Grenzen der Fähigkeiten dieser Systeme aufzeigen.

Frage

Hans-Thomas Hengl:

In welchen Bereichen ist das Thema Safety in Zusammenhang mit KI aus Deiner Sicht besonders relevant?

Antwort

Simon Burton:

KI wird zurzeit für viele Perzeptionsaufgaben herangezogen, von der Fußgängererkennung im autonomen Fahren bis zur Überwachung der Sicherheitsabstände in der Produktion und der Diagnose von Krankheitsbildern in der Medizintechnik. Diese Aufgaben stellen eine Art von Achillesferse für die Sicherheit des Systems dar, falls sie nicht zuverlässig durchgeführt werden. Ein System, das seine Umgebung nicht richtig wahrnimmt, wird nicht in der Lage sein, sichere Aktionen durchzuführen.

Simon Burton im Interview
Bild

Simon Burton: »Perzeption ist die Achillesferse für die Sicherheit der Systeme.«

Frage

Hans-Thomas Hengl:

Welche Ansätze verfolgt das IKS, um KI sicherer zu machen?

Antwort

Simon Burton:

Wir arbeiten auf verschiedenen Ebenen, um die Sicherheit von KI-basierten Systemen zu gewährleisten. Auf der Ebene der Funktion bringen wir der KI das Zweifeln bei. Das heißt, die Funktion soll erkennen, dass sie in eine Situation kommt, die in der Trainingsphase so nicht aufgetreten ist. Deshalb ist den Antworten der Funktion nicht zu trauen. Auf Systemebene wollen wir diese Information verwenden, um das Verhalten des Systems in einer solchen Situation adaptiv zu regeln. Das geschieht mit dem Ziel, Risiken aus einer unsicheren Perzeption zu minimieren. Dazu entwickeln wir Methoden, womit wir überzeugende Nachweise für die Performanz der KI-Funktionen sammeln, um diese in eine strukturierte Argumentation für die Sicherheit zu integrieren, was dann für die Freigabe der Systeme verwendet werden kann.

Frage

Hans-Thomas Hengl:

Kannst Du dafür ein Beispiel nennen?

Antwort

Simon Burton:

Ein konkretes Beispiel einer unserer Ansätze ist die sogenannte »Uncertainty Quantification« . Damit kann man das Maß an Konfidenz in die Richtigkeit einer Einschätzung der KI-Funktion berechnen.

Frage

Hans-Thomas Hengl:

Du hast in der Wirtschaft gearbeitet und warst parallel dazu an der Universität York als Gastprofessor tätig. Mit Deinem Wechsel ans Fraunhofer IKS hast Du Dich voll und ganz der Wissenschaft und Forschung verschrieben. Was war Deine Motivation?

Antwort

Simon Burton:

Ich habe immer eine große Affinität zur Forschung gehabt. Ich finde es unheimlich motivierend, Struktur in wichtige Problemstellungen zu bringen und somit einen Mehrwert für die Gesellschaft zu leisten. Die Frage, wie man komplexe, autonome, KI-basierte Systeme »sicher« im Sinne der safety macht, finde ich faszinierend. Sie hat mich in den vergangenen Jahren bereits intensiv beschäftigt. Insbesondere die fächerübergreifenden Sichtweisen, die hierfür nötig sind, bedingen eine interdisziplinäre Zusammenarbeit, in der man wegen der verschiedenen Perspektiven ständig neue Ansichten kennenlernt. Ich freue mich sehr, mit einem sehr talentierten und diversen Team beim IKS dieser Frage nachzugehen und eine nachhaltige Wirkung in diesem Forschungsfeld zu erzielen.

Simon Burton im Interview
Bild

Simon Burton: »Ich finde es unheimlich motivierend, Struktur in wichtige Problemstellungen zu bringen und somit einen Mehrwert für die Gesellschaft zu leisten.«

Frage

Hans-Thomas Hengl:

Was kannst Du aus Deinen Erfahrungen in der Wirtschaft in Deine Tätigkeit am Fraunhofer IKS einbringen?

Antwort

Simon Burton:

Während meiner Zeit in der Industrie war ich oft für Forschungsteams und die wissenschaftliche Strategie zuständig. Ich habe aber genau so viel Erfahrung in der konkreten Entwicklung von sicherheitsrelevanten Systemen und im Consulting. Ich kann deshalb beide Perspektiven gut nachvollziehen. Durch meine Arbeit in der Industrie habe ich ein Verständnis für die praktischen Herausforderungen des Technologietransfers entwickelt. Das wird uns am IKS helfen, unsere wissenschaftlichen Ergebnisse zu verbreiten. Außerdem habe ich Erfahrungen darin, neue Organisationen zu gründen, die dann wachsen, was uns in der aktuellen Phase des Institutsaufbaus zugutekommen sollte.

Frage

Hans-Thomas Hengl:

Man sagt den Deutschen nach, dass sie im Hinblick auf Sicherheit besonders sensibel sind und sehr, sehr hohe Ansprüche stellen. Kannst Du das als Deutscher mit britischen Wurzeln bestätigen?

Antwort

Simon Burton:

Ich schätze viele Tugenden der Deutschen sehr. Die strukturierte Arbeitsweise mit Schwerpunkt auf die Sicherheit ist eine davon. Diese Eigenschaft ist aber kein »Exklusivrecht« der Deutschen. An der University of York in England habe ich vor rund 20 Jahren meine Doktorarbeit über die Verwendung formaler Ansätze zur Absicherung sicherheitsrelevanter Software geschrieben.

Inzwischen, im Rahmen einer Gastprofessur, pflege ich immer noch sehr enge Beziehungen zu York. Da arbeite ich mit Kollegen aus verschiedenen Disziplinen, unter anderem aus der Philosophie und Rechtswissenschaft, zusammen, um das Thema Sicherheit von komplexen und autonomen Systemen ganzheitlich zu betrachten. Zusammen mit meiner doppelten Staatsbürgerschaft sowie meiner Erfahrung, in verschiedenen Ländern zu arbeiten, gibt mir das sicherlich eine etwas breitere Perspektive auf das Leben, beruflich sowie privat.

Nächster Artikel

Uncertainty Estimation in Object Detection – a mission-critical task

Felippe Schmoeller
Felippe Schmoeller da Roza
Künstliche Intelligenz & Machine Learning / Fraunhofer IKS
Künstliche Intelligenz