Generationen neuronaler Netze: Evolution statt Revolution

In der Gesichts-, Objekt- oder Spracherkennung und der automatischen Texterstellung wird mit künstlichen neuronalen Netzen gearbeitet. Vom menschlichen Gehirn inspiriert – nur eben mit künstlichen Neuronen – bilden die Netze einen wesentlichen Teil künstlicher Intelligenz. In den Netzen werden Neuronen in hintereinanderliegenden Schichten angeordnet. Die meisten von ihnen sind Feedforward-Netze, das bedeutet, dass die Neuronen nur vorwärts geleitet werden können und eine Schicht immer nur mit der nächsthöheren Schicht verbunden ist. Es gibt jedoch auch rekurrente Netze: Hier ist den Neuronen durch Rückkopplung ein dynamisches Verhalten möglich.

1. Generation: ein einfaches Modell zum Start

Fast zeitgleich mit der Geschichte der programmierbaren Computer wird 1943 ein erstes Neuronen-Modell vorgestellt, welches mit binären Signalen (0 und 1) kommuniziert. Es wird hier eine stark vereinfachte Version eines biologischen neuronalen Netzes nachgebildet. Doch auch mit diesen Netzen können bereits Berechnungen durchgeführt werden.

Die Neuronen empfangen und gewichten die Signale, summieren sie auf und berechnen das Ausgabesignal. Die neuronalen Netze der ersten Generation berechnen meist Schwellenwerte.

Perzeptron-Netzwerke sind ein Beispiel aus der ersten Generation. Sie haben zwei Schichten, sind sehr einfach aufgebaut und können somit zunächst nur lineare Probleme lösen. Sie lassen sich jedoch auf mehrere Schichten erweitern, wodurch sie es auch mit komplexeren Problemen aufnehmen können.

2. Generation: bereit für komplexere Aufgaben

Ein halbes Jahrhundert dauert es bis zum nächsten Entwicklungsschritt: In den Neunzigerjahren kommen durch die beschleunigte Entwicklung der Computertechnik die neuronalen Netze der zweiten Generation auf. Statt Binärwerten werden nun reelle Zahlen verwendet, durch die genauere Lösungen möglich sind. Um die Berechnungen durchführen zu können, verfügt außerdem jedes Neuron über eine (mathematische) Aktivierungsfunktion, die es ermöglicht, auch nicht-lineares Verhalten abzubilden.

Die reellen Zahlen stellen vereinfacht die Feuerrate der Impulse in biologischen Neuronen dar, das heißt: die Anzahl an Signalen pro Sekunde. In dieser Rate werden Informationen kodiert – so die Grundannahme des Modells.

Eine besondere Form der künstlichen neuronalen Netze der zweiten Generation stellt das Convolutional Neural Network (CNN) dar. Convolutional steht für »Faltung« – das Netz besitzt eine oder mehrere Faltungsschichten. Die Aktivität jedes Neurons wird durch die Anwendung eines Faltungsfilters berechnet. Damit lässt sich die Zahl der lernbaren Parameter deutlich reduzieren. So wird die Verarbeitung komplexer Eingabedaten wie etwa Bilder und Sprache merklich vereinfacht, ja eigentlich erst möglich gemacht. Moderne neuronale Netze sind häufig aus einer Vielzahl unterschiedlicher Schichten aufgebaut und haben somit eine beachtliche Tiefe, weshalb sie zumeist als Deep Neural Networks (DNN) bezeichnet werden.

3. Generation: mehr Effizienz, mehr Aufwand

Immer näher an das biologische Gehirn herankommen – das ist das Ziel der künstlichen neuronalen Netze. Die dritte Generation bekommt das hinsichtlich der Abläufe und des Aufbaus der Funktionsweise schon sehr gut hin. Man nennt diesen Meilenstein Spiking Neural Networks, also gepulste neuronale Netze. Sie berücksichtigen die zeitliche Komponente der Neuronen-Impulse. Die Informationen werden nach Timing kodiert – etwa in die Zeitabstände zwischen den Pulsen oder in Form der Pulsrate, der Frequenz.

Spiking Neural Networks (SNN) sind effizienter als ihre Verwandten der letzten Generationen: Sie brauchen weniger Neuronen für die gleiche Leistung. Gleichzeitig sind sie jedoch schwerer zu trainieren. Die Kodierung der Informationen in Zeitdifferenzen macht das Training komplizierter. Und sie müssen über Software abgebildet werden, da sie auf aktueller Hardware ineffizient sind.

Eine Revolution ist die neue Generation nicht – eher eine Evolution. Denn die dem Netz zugrundeliegenden Mechanismen haben sich nicht verändert. Die Jungen lernen so manche Regeln von den Alten, die Alten bekommen neue Modelle der Jungen übertragen. Alle Generationen können also von den Entwicklungen profitieren – und der kommenden den Weg ebnen.