Die vorherigen drei Teile unserer Serie sind auf die Technologien »unter der Motorhaube« von DEEP, der Machine-Learning-Toolkette des Fraunhofer IKS, eingegangen. Hier nun folgt mit den Prozessschritten des DEEP-Verfahrens der Blick auf das »große Ganze« – wie man DEEP einsetzen kann, um die Probleme beim Einsatz von Maschinellem Lernen (ML) für zukünftige flexible Qualitätsinspektion in den Griff zu bekommen.
11. April 2025
© iStock/maksym
Mit DEEP (Data Efficient Evaluation Platform) ist es möglich das Potenzial von Daten für die Bilderkennung mittels Künstlicher Intelligenz (KI) auf »Knopfdruck« zu bewerten und herauszufinden, welche Machine-Learning-(ML)-Modelle sich besonders gut für die spezifischen Daten einer Anwendung eignen. Hierzu kombiniert DEEP automatisiert verschiedene spezifische, am Fraunhofer-Institut für Kognitive Systeme IKS entwickelte Technologien, wie FAST, Robuscope und Modular Concept Learning, auf welche die vorherigen Teile dieser Serie im Safe Intelligence Onlinemagazin schon detailliert eingegangen sind.
© Fraunhofer IKS
Abb.1: Wichtige Bestandteile von DEEP (Data Efficient Evaluation Platform), der Machine-Learning-Toolkette für die zuverlässige KI-gestützte Automatisierung von Systemen zur Qualitätsinspektion, sind die Technologien FAST, Robuscope, und Concept Learning. Sie sind das Ergebnis der Forschung am Fraunhofer-Institut für Kognitive Systeme IKS, ebenso wie DEEP insgesamt.
Heutige Verantwortliche für Qualitätsinspektion, zum Beispiel in der Fertigung, stehen vor dem Problem, aus einer komplexen Datenlage mit sowohl sensitiven Daten wie auch häufig geringen Fehlerbeispielen eine zuverlässige Fehlererkennung abzuleiten. Hierbei können Verfahren auf Basis Maschinellen Lernens (ML) helfen, da sie insbesondere die Automatisierung von Prozessschritten erlauben. Die geeigneten Verfahren zu erkennen und zu bewerten, stellt aber eine wesentliche Hürde für den Einsatz dar.
DEEP liefert hierfür über einen detaillierten Ergebnisreport auf Basis einer Analyse die Antworten auf kritische Fragen, die für die erfolgreiche Implementierung von KI in industriellen Prozessen entscheidend sind:
Durch die Beantwortung dieser Fragen hilft DEEP Unternehmen, die Machbarkeit KI-gestützter Bilderkennung realistisch einzuschätzen und fundierte Entscheidungen über den Einsatz von KI in ihren Betriebsabläufen zu treffen.
Die Verfahrensschritte von DEEP sind einfach. Nach einem Upload der Bilddaten in das DEEP-Tool, werden diese Daten vorverarbeitet und in Trainingsdaten, Testdaten und Validierungsdaten aufgeteilt. Basierend auf den Daten entwickelt und testet das Tool verschiedene ML-Modelle mit unterschiedlichen Trainingsparametern und für unterschiedliche Einsatzszenarien. Hierbei werden die Modelle identifiziert, die am besten zur konkreten Anforderung und Datenlage passen. Insbesondere können in diesem Schritt sowohl spezifische Modelle für Teilprobleme der Datenmenge als Sub-Domäne erzeugt werden (siehe Beitrag zu FAST) als auch eine Identifikation der verschiedenen Konzepte und geeigneter zugehöriger Modelle durchgeführt werden (siehe Beitrag zu Concept Models). Die Performanz der verschiedenen Modelle wird hinsichtlich ihrer Genauigkeit und Robustheit analysiert, wofür eine breite Palette an gängigen und eigens dafür entwickelten Verfahren herangezogen wird (siehe Beitrag zu Robuscope). Basierend auf diesen Analysen werden gezielte Empfehlungen abgeleitet, welche Modelle für die spezifischen Daten am geeignetsten sind und in einem entsprechenden Bericht zusammengefasst.
© Fraunhofer IKS
Abb. 2: Prozessbild der Machine-Learning-Toolkette DEEP mit seinen Komponenten FAST, Concept Learning und Robuscope. Die Komponenten können kombiniert werden, zum Beispiel FAST für Concept Models.
Das Einsatzgebiet des vorgestellten Automatisierungssystems ist weitreichend. Ein Prozess, der durch dieses System automatisiert werden kann, muss folgende Eigenschaft aufweisen: Er sollte es ermöglichen, Automatisierungsentscheidungen durch Expertinnen und Experten, durch ein externes System oder eine Benutzerschnittstelle treffen zu lassen. Die Automatisierungsentscheidung kann entweder
Ziel ist es, ein Bauteil mit längerer Durchlaufzeit in der Produktion auf Fehler zu überprüfen. Das Bauteil gehört zu einer neuen Produktreihe, daher sind bisher nicht viele Trainingsdaten vorhanden. Zusätzlich kommen Fehler selten vor, und es besteht die Möglichkeit neuer Fehlerarten, welche bisher noch nicht dokumentiert wurden. Im Betrieb wird jedes Bauteil mithilfe einer Kamera geprüft. Die Kamera operiert in einem offenen Bereich, weshalb sich Umgebungsparameter wie Beleuchtung ändern können. Zusätzlich werden die Bauteile in beliebiger Ausrichtung mit der Kamera aufgenommen.
Aktuell steht hierzu ein Experte oder eine Expertin an der Produktionsstätte und inspiziert die Teile. Teile, die nicht den Qualitätsanforderungen entsprechen, werden aussortiert.
Durch die Automatisierung führt eine Kamera die Inspektion aus statt dem Experten. Ein Sortiersystem/Roboterarm sortiert problematische Teile aus. Die Expertin hat eine Benutzerschnittstelle, welche die Teile, die nicht automatisch verarbeitet wurden, zeigt. Durch Benutzereingaben kann er das Aussortieren bei diesen Teilen steuern. Die Eingabedaten und die Entscheidung wird für zukünftige Modellverbesserungen aufgezeichnet.
Für ein komplexes Bauteil, welches viele Schraub- und Steckverbindungen aufweist, soll überprüft werden, ob alle Verbindungen korrekt sind. Dafür fährt ein Roboterarm relevante Positionen ab und nimmt Bilder von dem Bauteil auf. Aktuell führt ein Experte die Inspektion visuell durch.
Durch die Automatisierung überwacht er mehrere solcher Stationen gleichzeitig. Durch eine Benutzerschnittstelle bekommt das Automatisierungssystem Feedback, für die Situationen, in denen es keine zuverlässige Aussage treffen kann. Eingabedaten und die Entscheidung werden für zukünftige Modellverbesserungen aufgezeichnet.
In einem Routineverfahren werden medizinische Daten wie etwa Röntgenaufnahmen erfasst. Diese Aufnahmen müssen von einer Radiologin oder einem Radiologen inspiziert werden. Diese Inspektion erfolgt verzögert. Expertenwissen ist sehr kostenintensiv. Aktuell arbeiten die Expertinnen und Experten die bereitgestellten Daten sequenziell ab und treffen eine Entscheidung zum Beispiel zu gut- oder bösartigen Erkrankungen.
Wenn Sie Fragen haben zu DEEP oder zur Automatisierung der Qualitätsinspektion in der Industrie, wenden Sie sich bitte an business.development@iks.fraunhofer.de
Durch die Automatisierung werden bereitgestellte Daten automatisiert vorverarbeitet. In allen Fällen, in denen eine zuverlässige Aussage getroffen werden kann, wird der Datenpunkt automatisch
verarbeitet. Nur bei Eingabedaten, bei denen keine zuverlässige Aussage getroffen werden kann, muss der Experte die Inspektion durchführen und die Entscheidung treffen.
Weitere Anwendungsfälle können automatisierte Inspektion für Wartungsarbeiten, visuelle Kontrolle in der Kommissionierung oder etwa Kontrolle der Einhaltung von Sicherheitsmaßnahmen (wie das Tragen von Sicherheitsausrüstung) sein.
ML-basierende Automatisierungssysteme stehen im starken Kontrast zu bisher üblichen Verfahren. Mit DEEP können sowohl Teilautomatisierungssysteme als auch die (Wieder-)Verwendung bestehender Konzeptmodelle als Lösungen herangezogen werden. Dabei geht es darum, die Entwicklungszeit dieser Systeme bis zu einem produktiven Einsatz, die Einführungsrisiken und damit auch die Kosten so gering wie möglich zu halten. Ist sichergestellt, dass diese Lösungen geringe Fehlerraten aufweisen, ist ein frühzeitiger Einsatz und eine inkrementelle Verbesserung möglich.
Der Fokus auf Sub-Domänen erlaubt es zudem, ML-Modelle mit geringerer Komplexität einzusetzen. Dadurch können etwa Ressourcenlimitierungen, Anforderungen an Interpretierbarkeit oder zulässige Fehlerraten bereits bei der Modellauswahl berücksichtigt werden. Der frühzeitige Einsatz erhöht zudem die Akzeptanz und das Verständnis der Anwender für das System. Die Einbindung von Expertenfeedback während des Betriebs ermöglicht es, den Automatisierungsgrad nachträglich ohne zusätzliche Datenerfassung oder Annotation zu erweitern. Zudem können Änderungen in den Daten etwa durch Änderungen im Produktionsumfeld automatisch in das System eingebunden werden.
Durch die Verwendung von konzeptspezifischen Modellen kann nicht nur Entwicklungszeit gespart werden, sondern auch Domänenwissen gewinnbringend in den Prozess eingebunden werden, was zu höherem Verständnis und einer robusteren Gesamtlösung führt. Mit diesem modularen Ansatz wird es ebenso ermöglicht, Wissen über Änderungen hinweg in spezialisierten Konzeptmodellen zu erhalten.
Geringe Datenmengen und hohe Anforderungen an die Verlässlichkeit der Lösung stellen in vielen industriellen Anwendungen eine Herausforderung dar und machen eine intelligente Auswahl an Modell- und Parameterkombinationen notwendig. Die Machine-Learning-Toolkette DEEP unterstützt bei der Entwicklung und Auswahl dieser Kombinationen optimal.
Diese Arbeit wird vom Bayerischen Ministerium für Wirtschaft, Landesentwicklung und Energie im Rahmen eines Projekts zur Unterstützung der thematischen Entwicklung des Instituts für Kognitive Systeme IKS finanziert.
