Serie DEEP, Teil 1
Zuverlässige KI ermöglicht Automatisierung von Qualitätsinspektion in der Industrie

In zahlreichen Anwendungsbereichen werden manuelle Tätigkeiten auf Basis von visuellen Informationen automatisiert. Beispiele dafür sind die Qualitätskontrolle von produzierten Gütern, das Sortieren von Paketen in der Logistik sowie das Überprüfen von Schraub- und Steckverbindungen per Roboter-Arm. Oft erfordern diese Automatisierungssysteme hohes technisches Wissen für die Entwicklung und Anpassung und sind zudem nicht flexibel für Veränderungen während des Einsatzes. Automatisierungssysteme basierend auf Machine Learning (ML) versprechen flexiblere Lösungen, auch bei komplexen Problemstellungen.

Allerdings entstehen bei ML-Ansätzen häufig praktische Probleme aufgrund der geringen Menge verfügbarer Daten für das Trainieren des Systems. Auch muss das System einen langwierigen iterativen Entwicklungsprozess durchlaufen, bevor es effektiv und mit ausreichender Zuverlässigkeit genutzt werden kann.

Problem Datenverfügbarkeit

Anwendungen wie etwa die visuelle Inspektion erfordern meist komplexe ML-Modelle. Der Bedarf an großen Datenmengen, um solche Modelle zu entwickeln, ist ein verbreitetes Hindernis für deren Anwendung. Häufig ist es nicht möglich, große Mengen an Daten zu erfassen, etwa bei geringen Stückzahlen oder komplexen Messverfahren. Sogar wenn ausreichend Daten erfasst werden können, stellt das korrekte, konsistente und präzise Annotieren der Daten (= Labelling) einen großen Zeit- und Kostenaufwand dar. Durch geringe Datenqualität (z.B. fehlende Variabilität) ist es auch bei großen Datenmengen nicht garantiert, dass diese zu einem zuverlässigen ML-System führen.

Auch während des Einsatzes des Systems bleibt das Labelling noch eine Herausforderung: Sollten sich die Umgebung (z.B. die Lichtverhältnisse) oder die abgebildeten Objekte verändern, muss das ML-Modell in der Regel überarbeitet werden. Um diese Veränderungen in das ML-Modell aufzunehmen, müssen zusätzliche Daten, welche die geänderten Umstände repräsentieren, erfasst werden. Eine gute Auswahlstrategie solcher Datenpunkte kann den Aufwand (z.B. Kosten für die Annotation) für die Anpassungen maßgeblich verringern.

Ramp-Up Phase und Zuverlässigkeit

Nach der Datenerfassung, ist es oft erforderlich, gelernte Modelle von Hand anzupassen oder Spezialfälle gesondert zu betrachten. In der Regel sind mehrere Iterationen von Training und praktischer Evaluierung nötig, um eine funktionierende Automatisierungslösung bereitzustellen. Automatisierungsaufgaben, insbesondere im Kontext der Inspektion und Qualitätssicherung, müssen hohe Anforderungen an die Korrektheit und Zuverlässigkeit der Lösungen erfüllen. Zuverlässigkeit bedeutet Fehler zu vermeiden, Unsicherheiten zu quantifizieren und bisher unbekannte Daten (= Out-of-Distribution Data) zu erkennen. Gerade komplexe Deep-Learning-(DL)-Modelle sind häufig nicht in der Lage, Unsicherheiten korrekt darzustellen. Solche Unsicherheiten sind etwa nötig, um unbekannte Situationen beziehungsweise Objekte hervorzuheben oder zu identifizieren, wann eine Entscheidung auf Basis der vorliegenden Daten nicht zu automatisieren ist.

Wie löst die Industrie diese Probleme bisher?

In der Industrie kommen bislang Lösungsansätze für automatisierte visuelle Inspektion häufig zum Einsatz, indem das Automatisierungssystem oder das Einsatzgebiet eingeschränkt werden. Dies bedeutet, dass die Komplexität des Problems reduziert wird, um einfachere Lösungen (etwa klassische Computer-Vision-Verfahren) zu verwenden. Dies hat zur Folge, dass die Automatisierungsprobleme deutlich geringere Komplexität aufweisen müssen oder die Inspektionsumgebung besonders konstant gehalten wird. Beispiele hierfür sind gleichbleibende Lichtverhältnisse, Sensoren, Ausrichtung, geringe Varianz der Objekte etc. Neue Inspektionsobjekte einzubinden, ist in solchen Systemen kaum möglich oder mit sehr hohem Aufwand verbunden. Flexiblere Automatisierungssysteme, die wiederverwendbar sind, gehen deutlich besser auf die anfangs eingeleiteten Herausforderungen von ML-Lösungen ein.

• Anomalieerkennung
  Bei der Anomalieerkennung werden Datenpunkte identifiziert, die von den »Gut-Daten« unter den Trainingsdaten abweichen und daher als Anomalien gelten. Im Falle von visueller Inspektion könnten dies Defekte oder fehlerhafte Daten sein. Weil Defekte meist nur selten auftreten, ist die Datenerfassung mit dem Fokus auf »Gut-Daten« einfacher. Das System lernt dann alle Abweichungen von Gut-Bildern zu erkennen. Die Qualität der Anomalieerkennung hängt von der Anzahl der gesammelten »Gut-Bilder« und der Konsistenz der Umgebung ab. Weil nur eine Abweichung der zu inspizierenden Objekte, nicht aber eine Veränderung der Inspektionsumgebung, gelernt wird, können schon kleine Änderungen etwa in der Beleuchtung oder im Hintergrund zu fehlerhaften Beurteilungen führen. Selbst wenn die Trainingsdaten alle vorkommenden Variationen gut abdecken, kann es Randfälle geben, die dennoch schwierig zu erkennen sind.
• Out-of-Distribution (OOD) Detection
  Verfahren zur Erkennung von unbekannten Daten (Out-of-Distribution, OOD). Bei OOD-Erkennung werden Eingabedaten, die nicht innerhalb der Domäne der Trainingsdaten liegen (z.B. andere Umgebungsparameter oder unbekannte Objekte), erkannt und gekennzeichnet. Die Qualität der OOD-Erkennung hängt von den verfügbaren Daten ab. Das OOD-System wird mit allen verfügbaren Daten angelernt. Eine vollständige Abdeckung der Daten ist jedoch oft nicht möglich, speziell bei wenig eingeschränkten Umgebungen. Dies führt bei wenig repräsentierten Klassen zu Fehlern.
• Uncertainty Quantification (UQ)
  Verfahren zur Quantifizierung der Unsicherheit von Prädiktionen (Uncertainty Quantification) entscheiden während der Laufzeit, ob eine Aussage als zuverlässig gelten kann. In der Regel muss ein fester Grenzwert für die »Zuverlässigkeit« vorab definiert werden, der bei wenig Evaluierungsdaten nur schwer festgelegt werden kann.
• Active Learning (AL)
  Active Learning (AL) ist ein iterativer Prozess zur dateneffizienten Entwicklung eines ML-Modells. In jeder Iteration werden neue Daten aus einer Sammlung noch nicht-annotierter Daten für die Annotation durch einen Experten oder eine Expertin ausgewählt. Die Auswahl der Daten erfolgt nach einem Verfahren, das beurteilt, welche Datenpunkte die größte Leistungssteigerung des ML-Modells liefern würde. Nach der Annotation wird das ML-Modell durch die neuen Daten aktualisiert und die nächste Iteration wird gestartet. Diese Iterationen werden so lange durchgeführt, bis das ML-Modell eine ausreichende Leistungsfähigkeit erreicht. Für AL benötigt der anfängliche Datenpool in der Regel eine große Datenmenge. Active Learning kommt vor allem bei Datensätzen mit geringer Annotation zum Einsatz. Das Verfahren scheitert allerdings häufig am sogenannten »Cold-Start-Problem«. Weil das Modell der aktuellen Iteration zum Zweck des Datenauswahlverfahrens herangezogen wird, besteht eine Abhängigkeit des Trainings von der Leistungsfähigkeit des Modells, obwohl das Modell noch am Anfang der Entwicklung steht. Die Folge ist ein langsamer Trainingsfortschritt zu Beginn.

DEEP, der Lösungsansatz des Fraunhofer IKS

Zur Bewältigung dieser Probleme hat das Fraunhofer-Institut für Kognitive Systeme IKS die Machine Learning-Toolkette DEEP (Data Efficient Evaluation Platform) entwickelt. DEEP ist ein Softwaretool für die zuverlässige KI-gestützte Automatisierung von Systemen zur Qualitätsinspektion. Mit DEEP ist es möglich, das Potenzial von Daten für die Bilderkennung mittels KI auf »Knopfdruck« zu bewerten und herauszufinden, welche ML-Verfahren sich besonders gut für die spezifischen Daten einer Anwendung eignen. Hierzu kombiniert DEEP automatisiert verschiedene spezifische Technologien des Fraunhofer IKS, von denen in den kommenden Teilen dieser Blogpost-Serie detailliert die Rede sein wird.

Die Verfahrensschritte von DEEP sind einfach. Nach einem Upload der Bilddaten in das DEEP-Tool, werden diese Daten klassifiziert und im ersten Schritt in Trainingsdaten, Testdaten und Evaluierungsdaten aufgeteilt. Basierend auf den Daten testet das Tool verschiedene ML-Modelle mit unterschiedlichen Trainingsparametern. Hierbei werden die Modelle identifiziert, die am besten zur konkreten Anforderung und Datenlage passen. Die Performanz der verschiedenen Modelle wird hinsichtlich ihrer Genauigkeit und Robustheit analysiert. Basierend auf diesen Analysen erfolgen gezielte Empfehlungen, welche Modelle für die spezifischen Daten am geeignetsten sind. Um die Qualität des Modells weiter zu verbessern, werden Analysen mit Hilfe der Fraunhofer-Werkzeuge FAST, Robuscope und Concept Learning durchgeführt.

Ein herausragendes Merkmal von DEEP ist seine Fähigkeit, effizient mit Daten umzugehen. Das Tool erfordert keine großen Datensätze, um aussagekräftige Ergebnisse zu liefern. Bereits kleine Datenmengen ermöglichen es DEEP, eine fundierte Machbarkeitsanalyse durchzuführen. Dies stellt einen signifikanten Vorteil für Unternehmen dar, die nur über begrenzte Datenressourcen verfügen oder in frühen Phasen der Datensammlung stehen.

Die Einsatzgebiete, in denen DEEP signifikante Vorteile bietet, umfassen unter anderem die Qualitätssicherung: Das Software-Tool optimiert Produktionsprozesse durch präzise und verlässliche Erkennung von Abweichungen oder fehlerhaften Teilen. Ähnliches gilt für die Automatisierung: Manuelle repetitive Tätigkeiten von Fachkräften werden reduziert und automatisierte Bilderkennungs-Systeme steigern die Effizienz. DEEP maximiert also das Potenzial der vorhandenen Daten. Zu den Features von DEEP zählen

• eine schnelle und unkomplizierte Bewertung der Daten auf Eignung eines konkreten Projekts,
• eine Performanz-Bestimmung der Bildauswertungs-Modelle,
• die Interpretation der Ergebnisse auf Genauigkeit und Robustheit,
• eine allgemeine Empfehlung zur Weiterentwicklung des KI-Modelles sowie
• die sichere und private Verarbeitung der analysierten Daten.

In den folgenden Teilen der Blogpost-Serie werden wir die Teilgebiete der DEEP-Toolkette vorstellen und auf die spezifischen Problemstellungen eingehen. Das beinhaltet einen tieferen Einblick in die Fraunhofer IKS-Technologien FAST zur zuverlässigen KI-gestützten Teilautomatisierung durch die Einschränkung der Modelle auf Teile des Datenraumes (Sub-Domänen-Modelle), Robuscope für konkrete Verbesserungsvorschläge für ML-Modelle, sowie Concept Learning mit wiederverwendbaren Modellen für häufig auftretende Konzepte.