Serie DEEP, Teil 2
Wenig Daten? Kein Problem!

DEEP (Data Efficient Evaluation Platform) ist eine Machine-Learning-(ML)-Toolkette für die zuverlässige KI-gestützte Automatisierung von Systemen zur Qualitätsinspektion. Mit DEEP ist es möglich, das Potenzial von Daten für die Bilderkennung mittels Künstlicher Intelligenz (KI) auf »Knopfdruck« zu bewerten und herauszufinden, welche ML-Verfahren sich besonders gut für die spezifischen Daten einer Anwendung eignen. Hierzu kombiniert DEEP automatisiert verschiedene spezifische Technologien, die am Fraunhofer-Institut für Kognitive Systeme IKS entstanden sind: u.a. FAST und Robuscope.

Fraunhofer FAST: Teilautomatisierung durch Sub-Domänen-Modelle

Der zuverlässige KI-gestützte FAST-Ansatz (Feedback-guided Automation of Sub-Tasks) beschreibt ein System zur teilweisen Automatisierung von Entscheidungen basierend auf Bilddaten. Teilautomatisierung bedeutet hier, dass der Algorithmus entscheidet, welche Eingabedaten zuverlässig automatisiert werden können, und für welche Daten eine manuelle Entscheidung durch Expertenwissen erforderlich ist.

Kern des Verfahrens ist ein ML-System, das Automatisierungsentscheidungen zuverlässig bearbeitet, auch bei unzureichender Datenmenge und -qualität. Dieses System basiert auf der Idee, die Einsatzdomäne auf eine Sub-Domäne, und damit auf ein Teilproblem, zu reduzieren. Die Auswahl des Teilproblems erfolgt auf Basis konkreter Eigenschaften der Daten, sodass die Teilmenge der Daten einer ausreichenden Datenqualität entspricht. Das ausgewählte Teilproblem kann dadurch zuverlässig gelöst werden, auch wenn nicht ausreichend viele Daten mit hoher Qualität vorliegen.

Abbildung 2 zeigt beispielhaft diesen Auswahlprozess anhand des Problems einer Qualitätssicherung von Schrauben. Die Darstellung links zeigt die ursprünglich verfügbaren Bilddaten. Das vorgestellte System wählt nun nur die Datenpunkte aus, für die ausreichend Daten mit guter Qualität verfügbar sind, angezeigt in der Darstellung links als die Menge 𝑆. Bilder mit geringem Kontrast, Hintergrundartefakten, wie z. B. Schat-tierungen oder Spiegelungen, oder selten auftretenden Defekten, die im Datensatz nicht ausreichend repräsentiert sind, werden nicht ausgewählt. Das System automatisiert die Qualitätskontrolle nur für Bilder aus 𝑆, während die unterrepräsentierten Bilder mit geringem Kontrast, Hintergrundartefakten oder seltenen Defekten an den Experten weitergeleitet werden. In der Darstellung sind die automatisch klassifizierten Bilder entsprechend mit grün (kein Defekt) und rot (defekt) markiert. Werden im laufenden Betrieb weitere Daten z. B. mit geringem Kontrast gesammelt und vom Experten klassifiziert, kann, sobald ausreichend viele verfügbar sind, die Menge 𝑆 um diese Bilder erweitert werden, sodass sich die Menge S_neu ergibt, in der Darstellung rechts. So kann nun zusätzlich die Qualitätskontrolle für die Bilder mit geringem Kontrast automatisiert werden.

Abbildung 3 zeigt eine Übersicht des Systemmodells im Einsatz, nachdem eine geeignete Sub-Domäne identifiziert wurde. Zudem werden die externen Komponenten, die für ein vollständiges Automatisierungssystem benötigt werden, zum Beispiel Kameras und eine Sortiermaschine, angeführt. Im Kern des Systemmodells liegt die Entscheidung, ob eine zuverlässige Automatisierung möglich ist. Ist dies der Fall, wird die externe Ausführungskomponente angestoßen, um die Automatisierungsaktion durchzuführen. Falls die Eingabe keine zuverlässige Automatisierung erlaubt, wird Experten-Feedback (Annotation der Eingabe) über eine externe Benutzerschnittstelle bereitgestellt und für spätere Erweiterungen der Sub-Domäne festgehalten.

Fraunhofer Robuscope: Ein Werkzeug, das konkrete Verbesserungsvorschläge macht

Für tiefgreifende Analysen eines Modells hat das Fraunhofer IKS mit Robuscope ein einfaches Werkzeug entwickelt, das die Robustheit eines KI-basierten Klassifikationsmodells testet. Robuscope ist Bestandteil des Workflows von DEEP. Eine breite Palette etablierter Metriken hebt spezifische Fehlereigenschaften hervor und hilft, ein besseres Verständnis für potenzielle Schwächen des Modells zu entwickeln.

Im Einzelnen besteht die Analyse mit Robuscope aus verschiedenen Teilfaktoren. Zunächst wird untersucht, ob es Klassen gibt, die besonders häufig verwechselt werden und wie sicher das verwendete KI-Modell seine Arbeit verrichtet. So lassen sich insbesondere systematische Fehler aufdecken. Die endgültige Interpretation ist jedoch stark vom Anwendungsfall abhängig. Handelt es sich bei den meisten Verwechslungen um Klassen, die funktional zu ähnlichem Verhalten führen, ist dies weniger kritisch. Beispiel: unterschiedliche Fehlerbilder bei der Qualitätskontrolle, die beide zur Rückweisung des Werkstücks führen. Wenn dagegen eine bestimmte Fehlerart häufig mit einem fehlerfreien Werkstück verwechselt wird, liegt ein handfestes Problem vor. Häufungen von Fehlerfällen sind oft ein Indikator für einen Mangel an Trainingsdaten – insbesondere für die Unterscheidung der betroffenen Klassen.

Darauf aufbauend analysiert Robuscope die Stabilität der Vorhersagen sowie die Kalibrierung der Ausgabewahrscheinlichkeiten. Stabile und damit robuste KI-basierte Modelle zeichnen sich dadurch aus, dass ein ausreichend großer Abstand zwischen dem richtigen Ergebnis und den anderen, falschen Optionen besteht, sodass kleine Änderungen nicht sofort zu einem falschen Ergebnis führen. Die Kalibrierung hingegen beschreibt, wie gut die vorhergesagten Wahrscheinlichkeiten (interpretiert als Konfidenzwerte) mit der Realität übereinstimmen. Bei Eingabedaten, für die das Modell sehr zuversichtlich ist, sollte es auch immer richtig liegen. Nur so kann die Konfidenz als zusätzliches Maß für die Zuverlässigkeit des Modells verwendet werden – etwa um den Nutzer bei geringer Konfidenz zu informieren oder um alternative Algorithmen anstelle des Modells zu verwenden.

In diesem Zusammenhang werden verschiedene Möglichkeiten zur Nutzung der Wahrscheinlichkeitsverteilung der Modellvorhersagen bewertet, um die Fehler beim Einsatz des Modells zu verringern. Dies geht jedoch in der Regel auf Kosten der Leistungsfähigkeit. Die Identifizierung eines günstigen Betriebspunktes durch die Wahl eines geeigneten Schwellenwertes – das heißt des Punktes, ab dem die Vorhersage des Modells als »unsicher« eingestuft werden soll – wird durch den Vergleich von Restfehlern und der verbleibenden Genauigkeit sowie anderer unsicherheitsspezifischer Metriken ermöglicht.

Robuscope ist auch außerhalb von DEEP für alle KI-Benutzer zugänglich. Der Nutzer und die Nutzerin lädt dazu eine Datei in das Tool mit den Vorhersagen des zu testenden Modells – einer Wahrscheinlichkeitsverteilung über die einzelnen Klassen – sowie dem erwarteten Ergebnis (ground truth). Das Webtool hat dazu die erforderlichen Eingabedaten auf das absolute Minimum reduziert. Ein Zugriff auf das trainierte Modell oder mögliche sensible Trainings- oder Testdaten ist nicht erforderlich. Innerhalb weniger Sekunden wird auf Basis der Daten ein detaillierter Analysebericht direkt im Browser erstellt, der Auskunft über die Qualität der Vorhersagen des zu verwendenden Modells gibt. Dieser Bericht kann auch zur weiteren Analyse heruntergeladen werden und enthält konkrete Verbesserungsvorschläge, die den Anwendungsexperten helfen sollen, zuverlässigere Modelle zu entwickeln.

Nach FAST und Robuscope als wichtige Komponenten geht der dritte Teil der Blogpost-Serie auf eine weitere Technologie der DEEP-Toolkette ein - das Fraunhofer IKS Concept Learning, das die Wiederverwendung bereits trainierter Modelle und somit einen effizienten und langlebigen Einsatz für häufig auftretende Konzepte ermöglicht.