Apprentissage supervisé et apprentissage non supervisé basé sur un système de neurones optiques à changement de phase

Récemment, Nature a publié une nouvelle recherche d'IBM. Le réseau neuronal profond « tout optique » construit avec des dispositifs optiques peut être plus économe en énergie que les méthodes informatiques traditionnelles et présente les avantages d'une évolutivité, d'une absence de conversion photoélectrique et d'une bande passante élevée. Cette découverte pourrait jeter les bases de l'émergence d'un accélérateur de réseaux neuronaux optiques à l'avenir. La fibre optique peut transmettre des données partout dans le monde sous forme de lumière, qui est devenue le pilier de la technologie des télécommunications modernes. Cependant, si ces données de transmission doivent être analysées, elles doivent être converties de signaux optiques en signaux électroniques, puis traitées par un équipement électronique. Pendant un certain temps, l'optique a été considérée comme la base de la technologie informatique la plus potentielle pour l'avenir, mais par rapport aux progrès rapides des ordinateurs électroniques, la compétitivité de la technologie informatique optique est évidemment insuffisante. Cependant, au cours des dernières années, l'industrie a accordé de plus en plus d'attention au coût de l'énergie informatique. Par conséquent, le système informatique optique attire à nouveau de plus en plus d’attention. L'informatique optique consomme peu d'énergie et peut être utilisée comme matériel d'accélération spécial pour les algorithmes d'IA, tels que les réseaux neuronaux profonds (DNN). Récemment, Feldmann et d'autres ont publié les derniers progrès de cette « mise en œuvre de réseaux entièrement optiques » dans la revue Nature.

Le réseau neuronal profond comprend des neurones artificiels multicouches et des synapses artificielles. La force de ces connexions, appelée poids du réseau, peut être positive, indiquant une excitation neuronale, ou négative, indiquant une inhibition neuronale. Le réseau fera de son mieux pour minimiser la différence entre la sortie réelle et la sortie attendue, afin de modifier le poids des synapses pour effectuer des tâches telles que la reconnaissance d'images. Le processeur et d'autres accélérateurs matériels sont généralement utilisés pour le calcul du DNN. La formation du DNN peut utiliser l'ensemble de données connu, et le DNN formé peut être utilisé pour déduire les données inconnues dans la tâche. Bien que la quantité de calcul soit importante, la diversité des opérations de calcul ne sera pas très élevée, car l'opération « multiplication et accumulation » est dominante dans de nombreux poids synaptiques et excitation neuronale.DNN peut toujours fonctionner normalement lorsque la précision du calcul est faible. Par conséquent, les réseaux DNN représentent des opportunités potentielles pour les technologies informatiques non traditionnelles. Les chercheurs tentent de construire un accélérateur DNN basé sur de nouveaux dispositifs de mémoire non volatile. Ce type d'équipement peut également enregistrer des informations lors de la coupure de l'alimentation électrique et améliorer la vitesse et l'efficacité énergétique du DNN grâce au calcul électronique analogique.

Alors pourquoi ne pas envisager d’utiliser l’optique ? Les composants guidant la lumière peuvent contenir une grande quantité de données – qu’il s’agisse de fibres optiques pour les télécommunications ou de guides d’ondes sur des puces photoniques. Dans ce type de guide d’ondes, la technologie du « multiplexage par répartition en longueur d’onde » peut être utilisée pour permettre à de nombreuses longueurs d’onde différentes de se propager ensemble. Chaque longueur d'onde peut ensuite être modulée (modifiée de manière à transporter des informations) à un rythme limité par la bande passante disponible liée à la modulation électron-optique et à la détection optoélectronique.Fig. 1 circuit neuronal à impulsions optiquesL'utilisation de résonateurs permet l'ajout ou la suppression d'une seule longueur d'onde, tout comme le chargement et le déchargement des camions. Le réseau de poids synaptique du réseau DNN peut être construit à l’aide d’un résonateur en anneau micronique. Le résonateur peut être modulé thermiquement, modulé électro-optiquement ou modulé par des matériaux à changement de phase. Ces matériaux peuvent basculer entre la phase amorphe et la phase cristalline, et la capacité d'absorption de la lumière des différents matériaux varie considérablement. Dans des conditions idéales, la consommation électrique de multiplication et d’accumulation est très faible.

L'équipe de recherche de Feldmann a mis en œuvre un « réseau neuronal entièrement optique » sur une puce photonique millimétrique, dans lequel la conversion photoélectrique n'est pas utilisée dans le réseau. Les données d'entrée sont modulées électroniquement à différentes longueurs d'onde et injectées dans le réseau, mais toutes les données restent ensuite sur la puce. Des matériaux à changement de phase intégrés sont utilisés pour ajuster le poids synaptique et intégrer les neurones.Fig. 2 génération d'impulsions et fonctionnement d'un neurone artificielLes auteurs démontrent un apprentissage supervisé et non supervisé à petite échelle, c'est-à-dire un entraînement utilisant des données étiquetées (apprentissage DNN) et un entraînement utilisant des données non étiquetées (similaire à l'apprentissage humain).

Figue. 3 apprentissage supervisé et apprentissage non supervisé basé sur le changement de phase du système de neurones optiques. Parce que l'expression du poids est réalisée par absorption de la lumière, le poids négatif nécessite un signal de polarisation plus grand, qui ne peut pas activer le matériau à changement de phase. Une méthode alternative consiste à utiliser le dispositif de l'interféromètre de Mach Zehnder pour diviser un seul guide d'ondes en deux bras, puis les recombiner. À ce stade, la quantité de lumière transmise dépend de la différence de phase optique entre les deux chemins de propagation. Cependant, il peut être difficile de combiner cette méthode avec le multiplexage par répartition en longueur d'onde, car le bras de chaque interféromètre doit introduire une différence de phase appropriée pour chaque longueur d'onde. Toute mise en œuvre optique du DNN est encore confrontée à des défis majeurs. Idéalement, leur utilisation totale de puissance peut être faible et une puissance thermooptique est souvent nécessaire pour ajuster et maintenir la différence de phase optique dans chaque bras de l'interféromètre Mach Zehnder.

Figue. 4 architecture évolutive de tous les réseaux neuronaux optiquesDe plus, la puissance optique totale injectée dans le système contenant des matériaux à changement de phase doit être soigneusement calibrée pour que la réponse des matériaux au signal d'entrée réponde aux attentes. Bien que des matériaux à changement de phase puissent également être utilisés pour ajuster la phase de Mach Zehnder, il y aura inévitablement un couplage croisé entre l'intensité de la lumière absorbée par les matériaux et le ralentissement de la vitesse de la lumière, ce qui augmentera la complexité du système. Le DNN traditionnel a développé à grande échelle, pouvant contenir des milliers de neurones et des millions de synapses. Cependant, les guides d'ondes des réseaux photoniques doivent être éloignés les uns des autres pour empêcher le couplage et éviter les courbures brusques afin d'empêcher la lumière de quitter le guide d'ondes. Parce que l’intersection des deux guides d’ondes peut injecter une puissance indésirable dans le mauvais chemin, ce qui limite considérablement les caractéristiques 2D de la conception des puces photoniques.

Figue. 5 mise en œuvre expérimentale d'un réseau neuronal à impulsions monocoucheIl faut une longue distance et une grande surface pour construire un réseau neuronal pour les dispositifs optiques, mais la fabrication des éléments clés de chaque structure optique nécessite une grande précision. En effet, le guide d'ondes et la région de couplage, telles que l'entrée et la sortie de chaque résonateur à microanneaux, doivent atteindre la taille exacte requise pour les performances du réseau correspondantes. Il existe également de nombreuses limitations sur la manière de fabriquer de petits résonateurs à microanneaux. Enfin, la technologie de modulation fournit un effet optique faible et nécessite une longue région d'interaction pour atteindre un niveau significatif d'influence limitée sur la lumière qui la traverse.

Les progrès réalisés dans les recherches de l'équipe Feldmann devraient favoriser le développement futur de ce domaine. Cette recherche pourrait jeter les bases de l’émergence d’accélérateurs de réseaux neuronaux optiques économes en énergie et évolutifs à l’avenir.