Auch rund um die Parkposition können Fremdkörper erheblichen Schaden an Flugzeugen verursachen und so die Sicherheit der Fluggäste gefährden. Das Fraunhofer IKS hat erforscht, wie sich solche Gefahren mit Hilfe Künstlicher Intelligenz vermeiden lassen.
28. April 2023
© iStock/RYSZARD FILIPOWICZ
Beschädigungen durch Fremdkörper (FOD, foreign object damage) auf Flugplätzen verursachen jährlich hohe wirtschaftliche Schäden an Flugzeugen, vor allem an den Turbinen. Fremdkörper, das können abgebrochene Teile von Fluggepäck oder Transportfahrzeugen sein, aber auch Bruchstücke aus dem Untergrund. Die Objekte sind im Allgemeinen unbekannt, sind also von beliebiger Form, Farbe, Textur und Größe. Vor allem bei kleinen Fremdkörpern besteht die Gefahr, dass sie übersehen werden, eine Gefahr, die durch die uneinheitlichen, fleckigen Oberflächen auf Flugplätzen noch größer wird.
Für die Start- und Landebahn existieren Lösungen auf Basis von Radar oder Laser sowie per Videoüberwachung usw.. Für die Parkposition der Flugzeuge dagegen gibt es noch keine fertigen Lösungen, die Kontrolle auf Fremdkörper erfolgt manuell durch Absuchen des Bereiches um das Flugzeug. Im Rahmen eines Projektes am Fraunhofer-Institut für Kognitive Systeme IKS wurde eine kamerabasierte Lösung erstellt, die das Personal bei der Suche nach Fremdkörpern an den Parkpositionen von Flughäfen unterstützt, indem sie eine Warnung ausgibt, wenn ein unbekanntes Objekt im Sichtbereich erkannt wurde.
In einem Projekt entwickelten die Forscherinnen und Forscher des Fraunhofer IKS eine Lösung für diesen Anwendungsfall auf Basis Künstlicher Intelligenz (KI) . Das Besondere daran: Während für Entwicklungs- und Forschungsarbeiten im Bereich Bilderkennung vor allem große, frei verfügbare Datensätze verwendet werden, stand für den vorliegenden Anwendungfall kein passendes Bildmaterial zur Verfügung.
Also wurden mit einer Auswahl von Testobjekten Aufnahmen angefertigt, die als Trainings- und Testmaterial Verwendung fanden. Damit allerdings die Aufnahmen für das Training des künstlichen neuronalen Netzes verwendbar sind, müssen die im Bild enthaltenen Objekte markiert und annnotiert werden, dabei werden die Positionen der Objekte im Bild in einer zusätzlichen Datei vermerkt.
Weil nur relativ wenige Trainingsbilder vorhanden waren, wurde das Modell nicht von Grund auf traininert, sondern es kam ein vortrainiertes Modell zum Einsatz. Für dieses Modell reichte ein begrenzter Datensatz aus, um es an die Aufgabenstellung anzupassen.
Während des Trainings wurden Helligkeit und Kontrast der Trainingsbilder verändert, mit der vergrößerten Varianz in den Bildern ließ sich die Erkennungsleistung des neuronalen Netzes weiter verbessern.
In weiteren Experimenten wurde das projektspezifische Bildmaterial um synthetische Bilder ergänzt, welche sich aus Beispielobjekten und Hintergrundbildern zusammensetzten. Diese generierten Trainingsbilder verbesserten die Trainingsergebnisse und erwiesen sich somit für diesen Anwendungsfall als gut einsetzbar.
Für die Anwender ist es jedoch entscheidend zu wissen, ab welcher minimalen Objektgröße Fremdköper erkannt werden können. Für die Bestimmung der minimalen Objektgröße wurden ebenfalls synthetische Bilder verwendet, die Objektgröße muss dazu nicht im Bild vermessen werden, sondern wird als Parameter bei der Generierung definiert. Die Objekte, die in den synthetischen Bildern auf den Hintergrund montiert wurden, sehen nicht immer realistisch aus, der Unterschied ist für den menschlichen Betrachter durchaus bemerkbar. Um die minimale Objektgröße zu bestimmen, war der Unterschied zu echten Bildern allerdings unerheblich. Im Ergebnis konnten die synthetischen Bilder im gegebenen Szenario das Training unterstützen und die Erkennungsleistung verbessern.
Neben der Aufgabe, die Fremdkörper rund um die Parkposition eines Flugzeugs zu finden, hat das Modell im Rahmen des normalen Trainings zu lernen, Flecken sowie Markierungen und Linien auf dem Boden zu ignorieren. Bei den anschließenden Tests müssen etwaige Fehldetektionen erkannt werden.
Beim herkömmlichen Test eines Modells zu Objekterkennung wird bewertet, ob es die Objektklasse (Hund, Katze, Maus, ...) sowie die Position des Objektes richtig erkennt. Für diese spezielle Anwendung wurde die Testmethodik angepasst, um praxisrelevante Anforderungen abzudecken, vor allem eine hohe Erkennungsleistung in Verbindung mit einer geringen Fehlalarm-Quote.
Bei diesen vereinfachten Tests ist nur eine Objektklasse („Fremdkörper“) zu erkennen, die Lokalisierung wird lediglich zur Erkennung von Fehl-detektionen genutzt, sie geht nicht in die Bewertung ein.
Im Betrieb ist es im ersten Schritt nur wichtig zu erkennen, dass ein Fremdkörper im Sichtbereich gefunden wurde. Falls das detektierte Objekt nicht offensichtlich erkennbar ist, kann sich der Bediener im zweiten Schritt interaktiv die Position des Objektes anzeigen lassen.
Für den Betrieb in der Praxis müssen Fehlalarme vermieden werden, darum wurde das Modell auch dahingehend getestet, dass kein Alarm ausgelöst wird, wenn kein Fremdkörper im Bild ist. Für beide Fälle wurde die jeweilige Erkennungsleistung ermittelt, da beide zusammenhängen und sich nicht unabhängig voneinander verbessern lassen.
Das Modell erreichte in den Tests gute Ergebnisse, auch für unbekannte Objekte, welche nicht im Trainingsdatensatz enthalten waren. Für die Lösung übertrugen die Forscherinnen und Forscher des Fraunhofer IKS die Objekterkennung erfolgreich von Laboranwendungen in die Praxis. Mit Hilfe relativ weniger anwendungsspezifischer Trainingsbilder kann das System an die kundenspezifische Umgebung angepasst werden.
Am Fraunhofer IKS wird in nächster Zeit schrittweise geprüft, inwiefern sich die Ergebnisse dieses Projekts auf andere branchen- und kundenspezifische Anwendungen der KI-gestützen Objekterkennung übertragen lassen
Kontaktieren Sie Nikolai Ginthör von unserem Business Development, E-Mail: nikolai.ginthoer@iks.fraunhofer.de, Telefon: +49 89 547088-326.
