Überwachtes Lernen und unüberwachtes Lernen basierend auf dem Phasenwechselsystem aller optischen Neuronen

Kürzlich hat Nature eine neue Studie von IBM veröffentlicht. Das „vollständig optische“ tiefe neuronale Netzwerk, das mit optischen Geräten aufgebaut ist, kann energieeffizienter sein als herkömmliche Rechenmethoden und bietet die Vorteile der Skalierbarkeit, der fehlenden fotoelektrischen Umwandlung und der hohen Bandbreite. Diese Entdeckung könnte den Grundstein für die Entstehung eines Beschleunigers für optische neuronale Netze in der Zukunft legen. Glasfasern können Daten in Form von Licht in die ganze Welt übertragen, was zur Säule der modernen Telekommunikationstechnologie geworden ist. Wenn diese Übertragungsdaten jedoch analysiert werden müssen, sollten sie von optischen Signalen in elektronische Signale umgewandelt und dann von elektronischen Geräten verarbeitet werden. Eine Zeit lang galt die Optik als Grundlage für die Computertechnologie mit dem größten Potenzial in der Zukunft, aber im Vergleich zum rasanten Fortschritt elektronischer Computer ist die Wettbewerbsfähigkeit der optischen Computertechnologie offensichtlich unzureichend. In den letzten Jahren hat sich die Branche jedoch weiterentwickelt hat den Kosten der Rechenenergie immer mehr Aufmerksamkeit geschenkt. Daher haben optische Computersysteme wieder mehr und mehr Aufmerksamkeit auf sich gezogen. Optisches Computing hat einen geringen Energieverbrauch und kann als spezielle Beschleunigungshardware für KI-Algorithmen wie Deep Neural Network (DNN) verwendet werden. Kürzlich veröffentlichten Feldmann und andere die neuesten Fortschritte dieser „vollständig optischen Netzwerkimplementierung“ in der Zeitschrift Nature.

Ein tiefes neuronales Netzwerk umfasst mehrschichtige künstliche Neuronen und künstliche Synapsen. Die Stärke dieser Verbindungen, sogenannte Netzwerkgewichte, kann positiv sein, was auf eine neuronale Erregung hinweist, oder negativ, was auf eine neuronale Hemmung hinweist. Das Netzwerk wird sein Bestes geben, um die Differenz zwischen der tatsächlichen Ausgabe und der erwarteten Ausgabe zu minimieren, um das Gewicht der Synapsen zu ändern, um Aufgaben wie die Bilderkennung auszuführen. Für die DNN-Berechnung werden normalerweise CPUs und andere Hardwarebeschleuniger verwendet. Das Training von DNN kann den bekannten Datensatz verwenden, und das trainierte DNN kann verwendet werden, um auf unbekannte Daten in der Aufgabe zu schließen. Obwohl der Rechenaufwand groß ist, wird die Vielfalt der Rechenoperationen nicht sehr hoch sein, da die Operation „Multiplikation und Akkumulation“ bei vielen synaptischen Gewichten und neuronalen Erregungen vorherrscht. DNN kann auch bei geringer Rechengenauigkeit normal funktionieren. Daher stellen DNN-Netzwerke potenzielle Chancen für nicht-traditionelle Computertechnologien dar. Forscher versuchen, einen DNN-Beschleuniger zu bauen, der auf neuen nichtflüchtigen Speichergeräten basiert. Diese Art von Ausrüstung kann auch Informationen speichern, wenn die Stromversorgung unterbrochen wird, und die Geschwindigkeit und Energieeffizienz von DNN durch analoge elektronische Berechnung verbessern.

Warum also nicht über den Einsatz von Optiken nachdenken? Lichtleitende Komponenten können große Datenmengen enthalten – seien es optische Fasern für die Telekommunikation oder Wellenleiter auf photonischen Chips. Bei dieser Art von Wellenleitern kann die „Wellenlängenmultiplex“-Technologie genutzt werden, um die gemeinsame Ausbreitung vieler unterschiedlicher Lichtwellenlängen zu ermöglichen. Jede Wellenlänge kann dann mit einer Rate moduliert (so verändert werden, dass Informationen übertragen werden können), die durch die verfügbare Bandbreite im Zusammenhang mit der Elektronen-zu-optischen-Modulation und der optoelektronischen Detektion begrenzt ist.Abb. 1 vollständig optisch gepulste Neuronenschaltung. Die Verwendung von Resonatoren ermöglicht das Hinzufügen oder Entfernen einer einzelnen Wellenlänge, genau wie beim Be- und Entladen von Lastkraftwagen. Das synaptische Gewichtsarray des DNN-Netzwerks kann mithilfe eines Mikron-Ringresonators aufgebaut werden. Der Resonator kann thermisch moduliert, elektrooptisch moduliert oder durch Phasenwechselmaterialien moduliert werden. Diese Materialien können zwischen der amorphen Phase und der kristallinen Phase wechseln und die Lichtabsorptionsfähigkeit verschiedener Materialien variiert stark. Unter idealen Bedingungen ist der Stromverbrauch für Multiplikation und Akkumulation sehr gering.

Feldmanns Forschungsteam hat ein „vollständig optisches neuronales Netzwerk“ auf einem millimetergroßen photonischen Chip implementiert, bei dem im Netzwerk keine photoelektrische Umwandlung verwendet wird. Die Eingangsdaten werden elektronisch auf verschiedene Wellenlängen moduliert und in das Netzwerk eingespeist, alle Daten verbleiben dann aber auf dem Chip. Integrierte Phasenwechselmaterialien werden verwendet, um das synaptische Gewicht anzupassen und Neuronen zu integrieren.Abb. 2. Impulserzeugung und Betrieb künstlicher Neuronen. Die Autoren demonstrieren überwachtes und unüberwachtes Lernen im kleinen Maßstab – das heißt, Training mit gekennzeichneten Daten (DNN-Lernen) und Training mit unbeschrifteten Daten (ähnlich dem menschlichen Lernen).

Abb. 3 Überwachtes Lernen und unüberwachtes Lernen basierend auf dem Phasenwechselsystem aller optischen NeuronenDa der Gewichtsausdruck durch Lichtabsorption realisiert wird, erfordert das negative Gewicht ein größeres Vorspannungssignal, das das Phasenwechselmaterial nicht aktivieren kann. Eine alternative Methode besteht darin, das Gerät des Mach-Zehnder-Interferometers zu verwenden, um einen einzelnen Wellenleiter in zwei Arme zu teilen und diese dann wieder zu kombinieren. Zu diesem Zeitpunkt hängt die Menge des durchgelassenen Lichts von der optischen Phasendifferenz zwischen den beiden Ausbreitungspfaden ab. Es kann jedoch schwierig sein, diese Methode mit Wellenlängenmultiplex zu kombinieren, da der Arm jedes Interferometers für jede Wellenlänge eine entsprechende Phasendifferenz einführen muss. Die gesamte optische Implementierung von DNN steht immer noch vor großen Herausforderungen. Im Idealfall kann ihr Gesamtstromverbrauch niedrig sein, und oft ist thermooptische Leistung erforderlich, um die optische Phasendifferenz in jedem Mach-Zehnder-Interferometerarm anzupassen und aufrechtzuerhalten.

Abb. 4 skalierbare Architektur aller optischen neuronalen Netzwerke Darüber hinaus muss die gesamte optische Leistung, die in das System mit Phasenwechselmaterialien eingespeist wird, sorgfältig kalibriert werden, damit die Reaktion der Materialien auf das Eingangssignal den Erwartungen entspricht. Obwohl Phasenwechselmaterialien auch zur Einstellung der Mach-Zehnder-Phase verwendet werden können, kommt es unvermeidlich zu einer Kreuzkopplung zwischen der Intensität des von den Materialien absorbierten Lichts und der Verlangsamung der Lichtgeschwindigkeit, was die Komplexität des Systems erhöht. Das traditionelle DNN hat sich entwickelt in großem Maßstab, der Tausende von Neuronen und Millionen von Synapsen umfassen kann. Allerdings müssen die Wellenleiter photonischer Netzwerke weit voneinander entfernt sein, um eine Kopplung zu verhindern und scharfe Biegungen zu vermeiden, damit Licht den Wellenleiter nicht verlässt. Denn der Schnittpunkt der beiden Wellenleiter kann unerwünschte Energie in den falschen Pfad einspeisen, was die 2D-Eigenschaften des photonischen Chipdesigns erheblich einschränkt.

Abb. 5 experimentelle Implementierung eines einschichtigen pulsierenden neuronalen NetzwerksDer Aufbau eines neuronalen Netzwerks für optische Geräte erfordert eine lange Distanz und eine große Fläche, aber die Herstellung wichtiger Teile jeder optischen Struktur erfordert hohe Präzision. Dies liegt daran, dass der Wellenleiter und der Kopplungsbereich, beispielsweise der Einlass und der Auslass jedes Mikroringresonators, genau die Größe erreichen müssen, die für die entsprechende Netzwerkleistung erforderlich ist. Es gibt auch viele Einschränkungen bei der Herstellung kleiner Mikroringresonatoren. Schließlich sorgt die Modulationstechnologie für einen schwachen optischen Effekt und erfordert einen langen Wechselwirkungsbereich, um einen signifikant begrenzten Einfluss auf das durchtretende Licht zu erreichen.

Es wird erwartet, dass die in der Forschung des Feldmann-Teams erzielten Fortschritte die zukünftige Entwicklung dieses Bereichs vorantreiben werden. Diese Forschung könnte den Grundstein für die Entstehung energieeffizienter und skalierbarer Beschleuniger für optische neuronale Netze in der Zukunft legen.