Safe Intelligence Day 2025
Automation: Drei Erkenntnisse aus der Industrie

Im Februar öffnete das Fraunhofer-Institut für Kognitive Systeme IKS seine Türen für Gäste aus der Industrie zum Safe Intelligence Day 2025. Die Wissenschaftlerinnen und Wissenschaftler präsentierten einen Überblick über die Themen, die die aktuelle Automatisierungsforschung am Institut bestimmen. Showcases, Diskussionsrunden und Networking-Möglichkeiten boten Teilnehmenden die Gelegenheit, Ideen und Erfahrungen auszutauschen, die dazu beitragen, aktuelle Automatisierungstechnologien und -praktiken weiterzuentwickeln. Diese Erkenntnisse, im Folgenden detaillierter dargestellt, stoßen weitere Diskussionen an und bieten Möglichkeiten, die Verbindung zwischen Künstlicher Intelligenz (KI) und Automatisierung auch künftig zu verbessern.

Erkenntnis 1: Nutzung menschlicher Kompetenz in der KI

Ein zentraler Aspekt bei der Implementierung von KI ist, dass es nicht darum geht, Arbeitskräfte zu ersetzen oder menschliche Expertise auszuschließen. Vielmehr erweist sich das aktive Einholen von Feedback durch Menschen, also ein „Human-in-the-Loop“-Ansatz, als entscheidend, um sicherzustellen, dass sich die entwickelten Lösungen am Gesamtkontext orientieren und wesentliche Annahmen berücksichtigen. In sicherheitskritischen Szenarien kann ein KI-gestützter Assistent beispielsweise in enger Zusammenarbeit mit Menschen agieren, etwa bei der Durchführung von Gefahrenanalysen und Risikobewertungen (HARA) für ein System. Um die Synergie zwischen Mensch und KI zu stärken, wurden folgende Ideen als besonders relevant hervorgehoben:

• Nahtlose Workflow-Integration: Der erste zu berücksichtigende Aspekt ist, wie nahtlos sich das KI-Tool in den Arbeitsablauf des Endnutzers einfügt. Die Schnittstellen sollten das anzeigen, was die Benutzer erwarten, zum Beispiel Dashboards zur Anzeige von Überwachungsdaten und tabellarische Visualisierungen zur Auflistung der Ergebnisse einer HARA. Ein effektives Schnittstellendesign sollte eine prägnante Zusammenfassung relevanter Informationen bieten, dem Benutzer aber auch die Möglichkeit geben, Details zu vertiefen. Dazu könnten beispielsweise Erklärungen gehören, wie ein bestimmtes Ergebnis zustande gekommen ist und warum es als gültig angesehen wird. Auf diese Weise wird sichergestellt, dass die Nutzer besser verstehen können, wie ihre Daten verarbeitet werden.
• Iterativer Ansatz: Anstatt einer vollständigen Lösung mit Hilfe von KI, die ohne kritische Prüfung übernommen wird, , bietet sich ein interatives Vorgehen an. Sobald eine erste Lösung automatisch generiert wurde, ist menschliches Feedback unerlässlich, um sie weiter zu verbessern und das Ergebnis mit den Vorstellungen des Nutzenden in Einklang zu bringen. Anschließend wird diese verbesserte Version erneut an das KI-Tool weitergeleitet, wobei die empfohlenen Änderungen eingearbeitet und die Gesamtlösung verfeinert werden. Dieser Prozess kann sich so oft wiederholen, bis der menschliche Experte mit dem Ergebnis zufrieden ist. Die Software unterstützt also nur den Benutzenden, der die volle Kontrolle über den Entwicklungsprozess behält.
• Ausbildung von Fachleuten: Schulung und Ausbildung können Menschen in die Lage versetzen, KI-Werkzeuge möglichst effektiv zu nutzen, und sind seit kurzem eine obligatorische Maßnahme gemäß dem KI-Gesetz der EU (z. B. Erwägungsgrund (91)). Für die Nutzerinnen und Nutzer von KI bedeutet dies, dass sie einen tieferen Einblick in die KI-Techniken erhalten und ihre Grenzen verstehen. Mit diesem Wissen können die Nutzer erkennen, welche Anwendungsfälle sich am besten für den Einsatz von KI eignen, und verstehen, wie sie die Ergebnisse heranziehen können.

Erkenntnis 2: Vertrauen in KI-Ergebnisse

Eine weitere wichtige Erkenntnis der aktuellen Diskussion über KI ist das weit verbreitete Misstrauen gegenüber den Ergebnissen, die diese Technologien liefert. Diese Skepsis hat vielfältige Ursachen, die von einem unzureichenden Verständnis der zugrunde liegenden KI-Methoden bis hin zu den bekannten Einschränkungen bestimmter Ansätze reichen. Ein besonders relevantes Beispiel sind große Sprachmodelle, bei denen das Phänomen der »Halluzinationen« auftritt – also die Generierung von Inhalten, die faktisch inkorrekt oder für die eingegebenen Daten irrelevant sind. Dieses Problem erfordert dringende Aufmerksamkeit, insbesondere wenn es um sicherheitskritische Anwendungen geht. Um das Vertrauen in KI-generierte Lösungen zu stärken, wurden die folgende Ansätze diskutiert:

• Qualitätsmetriken: Gut definierte Qualitätsmetriken können verwendet werden, um die Genauigkeit und Relevanz von KI-generierten Ergebnissen zu quantifizieren. Die spezifische Wahl der Metriken hängt vom Anwendungsfall ab, wobei einige Beispiele im Zusammenhang mit Large Language Models Indikatoren für Themenkohärenz und Ähnlichkeit (im Vergleich zu Referenzinhalten) sind.
• Tests und Sicherheitsüberprüfungen: Die oben genannten Metriken können als Teil eines größeren Test- und Kontrollrahmens betrachtet werden, der regelmäßiges und strukturiertes Feedback zu KI-generierten Lösungen liefert. Im Zusammenhang mit der Codegenerierung für speicherprogrammierbare Steuerungen könnten beispielsweise von der KI generierte Tests (die von Menschen ordnungsgemäß überprüft werden) zum Einsatz kommen, um zu überprüfen, ob die Lösung die beabsichtigte Funktionalität erfasst. Für sicherheitskritische Anwendungen sollten Verfahren zur Generierung und Verifizierung von KI-Ergebnissen eingeführt werden, die die Einhaltung bestehender Normen gewährleisten.
• Erklärbarkeit: Neben der Quantifizierung und dem Testen der generierten Lösungen kann das Verständnis dieser Ergebnisse im Detail und der Aufbau eines Gesamtbildes darüber, wie die KI-Techniken sie hervorgebracht haben, das Vertrauen der Nutzer in den Prozess erhöhen. Einerseits kann dies durch die Aufklärung der Nutzer über KI erreicht werden, andererseits kann die Erklärbarkeit der Techniken verbessert werden (z. B. Nachverfolgung der Entscheidungsschritte, die zu einem Ergebnis führen, Bereitstellung begleitender Erklärungen usw.).

Erkenntnis 3: Überwindung von Infrastrukturherausforderungen

Abschließend wurden einige wiederkehrende infrastrukturelle Hindernisse bei der Implementierung von KI angesprochen. Dabei handelt es sich um gängige Digitalisierungsfallen, die einen effektiven Einsatz von KI verhindern können. Sie reichen von Problemen bei der Datenerfassung und -sicherung bis hin zum Dilemma der Cloud-basierten gegenüber der On-Premise-KI-Ausführung. Die folgenden Strategien wurden hervorgehoben, um diese Probleme zu überwinden:

• Datenverbindungen: Um potenzielle Mängel beim Datenzugriff und der Datenstandardisierung zu beheben, können Konnektoren eingesetzt werden, die die Datenabfrage und -harmonisierung unterstützen. Diese sollten als integraler Bestandteil einer umfassenden Pipeline betrachtet werden, die Rohdaten bereinigt, strukturiert und integriert, sodass sie für die anschließende Verarbeitung durch KI optimal vorbereitet sind.
• Flexible Integration: Da Hersteller ihre Produktionsumgebungen individuell gestalten, ist eine maßgeschneiderte Integration von Künstlichen Intelligenz (KI)-Techniken in die bestehenden Softwaresysteme notwendig. In diesem Kontext kann eine serviceorientierte Architektur die erforderliche Modularität und Flexibilität bereitstellen, die für die Einbindung von KI erforderlich ist.
• Plug-and-play-Lösung: Aus der Sicht der Hersteller, insbesondere kleiner und mittlerer Unternehmen, ist eine Plug-and-Play-Lösung ideal. Diese ermöglicht es den Nutzern, sofort von den Vorteilen der KI zu profitieren, während der Einrichtungsaufwand gering gehalten wird. Daher sollte die Gestaltung der KI-Lösung sowohl die notwendige Software als auch die Hardware kombinieren und eine benutzerfreundliche Schnittstelle für die Integration bereitstellen.

Zusammen bieten diese drei Erkenntnisse einen umfassenden Fahrplan für die Einführung von KI in der Produktion: Zunächst wird die erforderliche Infrastruktur geschaffen, die die für den Einsatz eines KI-Tools erforderlichen Rohdaten und Ressourcen bereitstellt. Dann wird das gewählte KI-Tool an den gewünschten Anwendungsfall angepasst, um ein gewisses Maß an Qualität und Vertrauen in die Ergebnisse zu gewährleisten. Schließlich werden die von der KI erzielten Ergebnisse durch das Wissen der Mitarbeitenden ergänzt, um die bestmögliche Vorgehensweise für den gegebenen Automatisierungskontext zu finden – einschließlich sicherheitskritischer Szenarien.

Dieses Vorhaben wurde im Rahmen des Projekts Unterstützung des thematischen Aufbaus des Instituts für Kognitive Systeme durch das Bayerische Staatsministerium für Wirtschaft, Landesentwicklung und Energie gefördert.