Industrieautomatisierung
Steuerungs-Code per KI braucht Qualitätsmaßstäbe

Wenn Large Language Models (LLM) es schaffen, Steuerungsanwendungen für die Industrie zu generieren, die sicher und zuverlässig laufen, würde dies nicht nur den Engineering-Aufwand von der Planung bis zum Prototyp deutlich verkürzen. Auch das Problem des Fachkräftemangels im Bereich der Industrieautomatisierung würde entschärft werden. Denn Spezialisten mit Kenntnissen in IEC-61131-3- Programmiersprachen, dem vorherrschenden Standard der Industrie, werden immer seltener.

Ausgehend von dieser Motivation haben die Projektpartner von MBO-KISS (Methoden zur Bewertung und Optimierung KI-generierter Steuerungsanwendungen basierend auf der physikalischen Simulation von Maschinen und deren Sollverhalten) eine Systemarchitektur entworfen, die die beiden Aspekte Bewertung und Optimierung des generierten Codes in den Mittelpunkt stellen. Diese Architektur beinhaltet eine komplette Pipeline beginnend mit der Definition von Anforderungen an die Automatisierungsanwendung, über die Generierung der Spezifikation und der daraus folgenden Generierung des Structured-Text-(ST)-Codes bis hin zu verschiedenen Tests.

Diese Tests bestehen aus mehrstufigen automatisierten Testworkflows, die sich aus statischen und dynamischen Methoden zusammensetzen:

• So wird der Code im ersten Schritt mit Hilfe eines Analyzers hinsichtlich einer Reihe von Metriken z.B. Komplexität aufgrund von Verzweigungen und Schleifen im Code untersucht. Die Ergebnisse werden anhand dedizierter Loop-Back-Verfahren an die Code Generierung zurückgeführt und in einem neuen Code-Generierungslauf berücksichtigt.
• Im zweiten Schritt erfolgt die Prüfung der Codekomponenten per UNIT-Tests. Die dafür notwendigen Testfälle generiert ebenfalls der KI-Assistent anhand der vorliegenden Spezifikation. Und auch die Ergebnisse der UNIT-Tests werden an die Code-Generierung zurückgegeben, um in weiteren Iterationen die Code-Basis zu verbessern.
• In einem dritten und letzten Schritt wird der Code an der simulierten Maschine/Anlage getestet, die aus einer Software-SPS, der Simulation der Maschine und steuernden Testwerkzeugen besteht. Auch hier werden sowohl positive als auch negative Testergebnisse zurückgespiegelt.

Die oben beschriebenen Mechanismen helfen, den generierten Code zu bewerten und per Loop Back zu verbessern, wenn zuvor ein Large Language Model (LLM) für die Code-Generierung ausgewählt wurde. Die Auswahl des geeigneten Modells ist jedoch ebenfalls entscheidend für eine erfolgreiche Bewertung und Optimierung des Codes. Denn LLMs werden primär mit Code in den Hochsprachen Python, Java oder C/C++ trainiert. Da jedoch gängige IEC 61131-3-Sprachen wie (ST) nur bei Automatisierungsfachleuten bekannt sind, bilden eben diese einen geringen Anteil an den Trainingsdaten der großen Sprachmodelle. Und weil die IEC 61131-3 Sprachen zudem überwiegend innerhalb von Unternehmen verwendet werden und oftmals Teil der IP der Maschinen sind, stehen frei verfügbare Code-Basen kaum zur Verfügung.

Benchmarking von LLMs

Für die Auswahl eines geeigneten LLMs ist es notwendig, entsprechende Benchmarks zur Code-Generierung einzubeziehen. Diese stellen in der Regel die Hersteller der Modelle für bekannte Programmiersprachen wie Python oder Java bereit, bei den IEC-61131-3 Sprachen fehlen diese Benchmarks jedoch aufgrund der oben angesprochenen geringen Relevanz. Dieses Manko lässt sich mit der Nutzung von Benchmarking Tool Chains für die Bewertung von LLMs beheben, indem die am Fraunhofer-Institut für Kognitive Systeme IKS entwickelten Tools zur allgemeinen Bewertung von LLMs an die Bewertung von generiertem ST-Code angepasst werden. Entscheidend für ein möglichst aussagekräftiges Benchmarking sind hier Datensätze, bestehend aus Anforderungsbeschreibungen und den dazugehörigen Referenzimplementierungen. Beispielsweise kann für eine erste Bewertung Code aus Bibliotheken wie OSCAT [1] herangezogen werden. Optimalerweise sollte allerdings bisher nicht veröffentlichter Code zum Einsatz kommen, um die Benchmark-Lösung zu erstellen.

Die Kombination aus der beschriebenen Systemarchitektur zur Bewertung und Optimierung von generiertem ST-Code und den per Benchmarking ausgewählten LLMs bietet einen optimalen Ansatz für ein KI-gestütztes Engineering von Automatisierungsanwendungen. Auch wenn im Projekt MBO KISS vor allem cloudbasierte LLMs dominierender Anbieter wie OpenAI oder Anthropic eingesetzt werden, bilden die Systemarchitektur und die Benchmarking Tool Chain eine ideale Grundlage auch für lokale Modelle (Edge KI-Lösung) bzw. für die Bewertung lokaler Engineering Workflows.

Projekt MBO-Kiss: Sechs Partner sind mit dabei

Am Forschungsprojekt MBO-KISS sind insgesamt sechs Partner beteiligt. Während sich das Fraunhofer IKS auf die Aspekte der LLM-gestützten qualitativ hochwertigen Generierung von Steuerungscode und die Rückführung der Testergebnisse an das Prompting konzentriert, betrachten die beteiligten Industriepartner automatisierte Testmöglichkeiten der generierten Softwarekomponenten bzw. der gesamten Anwendung. Durch die Bündelung der Aktivitäten aller Partner entsteht ein Kreislauf, in dem die Resultate des Tests wieder in das Prompting einfließen und so eine iterative Verbesserung der Anwendung erreicht wird:

ITQ hat sich auf die automatisierte Analyse der Qualität des generierten Codes konzentriert, die eine der Dimensionen des Verifikationsprozesses darstellt. Dabei werden verschiedene Metriken für eine statische Code-Analyse definiert, umgesetzt und innerhalb der Gesamtarchitektur erprobt.

Die Sepp.med wird sich auf Testanalyse, Testentwurf, Testrealisierung, Testautomatisierung und Testabdeckung konzentrieren, was eine weitere Verifikationsdimension darstellt.

Das Unternehmen Max Streicher übernimmt die Rolle des Anwenders und stellt u.a. die Use Cases bereit. Außerdem gleicht sie die Fortschritte der Entwicklung und die Teilergebnisse mit den eigenen Bedürfnissen ab und testet diese soweit möglich unter reellen Bedingungen.

Darüber hinaus werden die assoziierten Partner Codesys Group und Bosch Rexroth das Projekt begleiten und begutachten.

Die KI-Technologie LLM entwickelt sich weiterhin rasant weiter, sodass regelmäßig mit verbesserten Modellen zu rechnen ist. Umso wichtiger ist es, nicht nur Methoden zu betrachten, mit denen LLMs integriert werden, um Steuerungsanwendungen zu erstellen. Vielmehr geht es auch darum, geeignete Methoden zu entwerfen, mit denen sich LLMs für Steuerungsaufgaben bewerten lassen und diese Methoden Fertigungsunternehmen bereitzustellen.

Referenz:

[1] http://www.oscat.de/en/, Oscat.LIB, Abruf 19.5.2026

Das Projekt wird gefördert durch das bayerische Staatsministerium für Wirtschaft, Landesentwicklung und Energie im Programm BayVFP Förderlinie Digitalisierung.