Apprendimento supervisionato e apprendimento non supervisionato basato sul cambiamento di fase di tutto il sistema neuronale ottico

Recentemente, la natura ha pubblicato una nuova ricerca dell'IBM. La rete neurale profonda "interamente ottica" costruita con dispositivi ottici può essere più efficiente dal punto di vista energetico rispetto ai metodi informatici tradizionali e presenta i vantaggi della scalabilità, dell'assenza di conversione fotoelettrica e di un'elevata larghezza di banda. Questa scoperta potrebbe gettare le basi per l'emergere dell'acceleratore di rete neurale ottica in futuro. La fibra ottica può trasmettere dati in tutto il mondo sotto forma di luce, che è diventata il pilastro della moderna tecnologia delle telecomunicazioni. Tuttavia, se è necessario analizzare questi dati di trasmissione, dovrebbero essere convertiti da segnali ottici a segnali elettronici e quindi elaborati da apparecchiature elettroniche. Per qualche tempo, l'ottica è stata considerata la base della tecnologia informatica più potenziale per il futuro, ma rispetto al rapido progresso dei computer elettronici, la competitività della tecnologia informatica ottica è ovviamente insufficiente. Tuttavia, negli ultimi anni, l'industria ha prestato sempre più attenzione al costo dell’energia informatica. Pertanto, il sistema di calcolo ottico ha attirato nuovamente sempre più attenzione. Il calcolo ottico ha un basso consumo energetico e può essere utilizzato come hardware di accelerazione speciale per algoritmi di intelligenza artificiale, come la rete neurale profonda (DNN). Recentemente, Feldmann e altri hanno pubblicato gli ultimi progressi di questa "implementazione di tutta la rete ottica" sulla rivista Nature.

La rete neurale profonda comprende neuroni artificiali multistrato e sinapsi artificiali. La forza di queste connessioni, chiamate pesi di rete, può essere positiva, indicando l'eccitazione neuronale, o negativa, indicando l'inibizione neuronale. La rete farà del suo meglio per ridurre al minimo la differenza tra l'output effettivo e quello previsto, in modo da modificare il peso delle sinapsi per eseguire attività come il riconoscimento delle immagini. La CPU e altri acceleratori hardware vengono solitamente utilizzati per il calcolo DNN. L'addestramento della DNN può utilizzare il set di dati noto e il DNN addestrato può essere utilizzato per dedurre i dati sconosciuti nell'attività. Sebbene la quantità di calcoli sia ampia, la diversità delle operazioni di calcolo non sarà molto elevata, poiché l'operazione di "moltiplicazione e accumulo" è dominante in molti pesi sinaptici ed eccitazione neuronale. La DNN può comunque funzionare normalmente quando la precisione del calcolo è bassa. Pertanto, le reti DNN rappresentano potenziali opportunità per le tecnologie informatiche non tradizionali. I ricercatori stanno cercando di costruire un acceleratore DNN basato su nuovi dispositivi di memoria non volatile. Questo tipo di apparecchiature può anche salvare informazioni quando si interrompe l'alimentazione elettrica e migliorare la velocità e l'efficienza energetica della DNN attraverso il calcolo elettronico analogico.

Allora perché non considerare l'utilizzo dell'ottica? I componenti di guida della luce possono contenere una grande quantità di dati, siano essi fibre ottiche per le telecomunicazioni o guide d'onda su chip fotonici. In questo tipo di guida d'onda, la tecnologia "multiplexing a divisione di lunghezza d'onda" può essere utilizzata per consentire a molte lunghezze d'onda della luce diverse di propagarsi insieme. Ciascuna lunghezza d'onda può quindi essere modulata (modificata in modo da poter trasportare informazioni) a una velocità limitata dalla larghezza di banda disponibile correlata all'elettrone alla modulazione ottica e al rilevamento optoelettronico.Fig. 1 circuito neuronale a impulsi otticiL'uso di risonatori consente l'aggiunta o la rimozione di una singola lunghezza d'onda, proprio come durante il carico e lo scarico dei camion. L'array di pesi sinaptici della rete DNN può essere costruito utilizzando un risonatore ad anello micrometrico. Il risonatore può essere modulato termicamente, modulato elettro-ottico o modulato mediante materiali a cambiamento di fase. Questi materiali possono passare dalla fase amorfa alla fase cristallina e la capacità di assorbimento della luce dei diversi materiali varia notevolmente. In condizioni ideali, il consumo energetico della moltiplicazione e dell'accumulo è molto basso.

Il gruppo di ricerca di Feldmann ha implementato "tutta la rete neurale ottica" su un chip fotonico millimetrico, in cui nella rete non viene utilizzata la conversione fotoelettrica. I dati in ingresso vengono modulati elettronicamente su diverse lunghezze d'onda e immessi nella rete, ma poi tutti i dati rimangono sul chip. I materiali integrati a cambiamento di fase vengono utilizzati per regolare il peso sinaptico e integrare i neuroni.Fig. 2 generazione di impulsi e funzionamento del neurone artificialeGli autori dimostrano l'apprendimento supervisionato e non supervisionato su piccola scala, ovvero l'addestramento utilizzando dati etichettati (apprendimento DNN) e l'addestramento utilizzando dati senza etichetta (simile all'apprendimento umano).

Fico. 3 apprendimento supervisionato e apprendimento non supervisionato basato sul cambiamento di fase su tutto il sistema neuronale ottico Poiché l'espressione del peso è realizzata dall'assorbimento della luce, il peso negativo richiede un segnale di polarizzazione più grande, che non può attivare il materiale del cambiamento di fase. Un metodo alternativo consiste nell'utilizzare il dispositivo dell'interferometro Mach Zehnder per dividere una singola guida d'onda in due bracci e poi ricombinarli. In questo momento, la quantità di luce trasmessa dipende dalla differenza di fase ottica tra i due percorsi di propagazione. Tuttavia, potrebbe essere difficile combinare questo metodo con il multiplexing a divisione di lunghezza d'onda, perché il braccio di ciascun interferometro deve introdurre una differenza di fase appropriata per ciascuna lunghezza d'onda. Tutta l'implementazione ottica della DNN deve ancora affrontare sfide importanti. Idealmente, il loro utilizzo energetico totale può essere basso e spesso è necessaria la potenza termoottica per regolare e mantenere la differenza di fase ottica in ciascun braccio dell'interferometro Mach Zehnder.

Fico. 4 architettura scalabile di tutta la rete neurale ottica Inoltre, la potenza ottica totale iniettata nel sistema contenente materiali a cambiamento di fase deve essere attentamente calibrata per far sì che la risposta dei materiali al segnale di ingresso soddisfi le aspettative. Sebbene i materiali a cambiamento di fase possano essere utilizzati anche per regolare la fase di Mach Zehnder, ci sarà inevitabile accoppiamento incrociato tra l'intensità della luce assorbita dai materiali e il rallentamento della velocità della luce, che aumenterà la complessità del sistema. Il tradizionale DNN si è sviluppato su larga scala, che può contenere migliaia di neuroni e milioni di sinapsi. Tuttavia, le guide d'onda delle reti fotoniche devono essere distanti l'una dall'altra per impedire l'accoppiamento ed evitare flessioni brusche per impedire alla luce di lasciare la guida d'onda. Perché l'intersezione delle due guide d'onda può iniettare energia indesiderata nel percorso sbagliato, il che limita sostanzialmente le caratteristiche 2D della progettazione del chip fotonico.

Fico. 5 implementazione sperimentale della rete neurale a impulsi a strato singoloCi vuole una lunga distanza e una vasta area per costruire una rete neurale per dispositivi ottici, ma la produzione di parti chiave di ciascuna struttura ottica richiede un'elevata precisione. Questo perché la guida d'onda e la regione di accoppiamento, come l'ingresso e l'uscita di ciascun risonatore a microanello, devono raggiungere l'esatta dimensione richiesta per le corrispondenti prestazioni della rete. Esistono anche molte limitazioni su come produrre piccoli risonatori a microanelli. Infine, la tecnologia di modulazione fornisce un effetto ottico debole e richiede una lunga regione di interazione per ottenere un livello significativo di influenza limitata sulla luce che passa attraverso.

Si prevede che i progressi compiuti nella ricerca del team Feldmann favoriranno lo sviluppo futuro di questo campo. Questa ricerca potrebbe gettare le basi per l’emergere di acceleratori di reti neurali ottiche scalabili ed efficienti dal punto di vista energetico in futuro.