Aprendizagem supervisionada e aprendizagem não supervisionada baseada na mudança de fase em todo o sistema de neurônios ópticos

Recentemente, a natureza publicou uma nova pesquisa da IBM. A rede neural profunda "totalmente óptica" construída com dispositivos ópticos pode ser mais eficiente em termos energéticos do que os métodos de computação tradicionais e tem as vantagens de escalabilidade, sem conversão fotoelétrica e alta largura de banda. Esta descoberta pode estabelecer as bases para o surgimento do acelerador de rede neural óptica no futuro.A fibra óptica pode transmitir dados em todo o mundo na forma de luz, que se tornou o pilar da moderna tecnologia de telecomunicações. No entanto, se estes dados de transmissão necessitarem de ser analisados, deverão ser convertidos de sinais ópticos em sinais electrónicos e depois processados ​​por equipamento electrónico. Por algum tempo, a óptica foi considerada a base da tecnologia de computação com maior potencial no futuro, mas em comparação com o rápido progresso dos computadores eletrônicos, a competitividade da tecnologia de computação óptica é obviamente insuficiente.No entanto, nos últimos anos, a indústria tem prestado cada vez mais atenção ao custo da energia computacional. Portanto, o sistema de computação óptica tem atraído cada vez mais atenção. A computação óptica tem baixo consumo de energia e pode ser usada como hardware de aceleração especial para algoritmos de IA, como redes neurais profundas (DNN). Recentemente, Feldmann e outros publicaram o progresso mais recente desta “implementação totalmente de rede óptica” na revista Nature.

A rede neural profunda inclui neurônios artificiais multicamadas e sinapses artificiais. A força dessas conexões, chamadas de pesos de rede, pode ser positiva, indicando excitação neuronal, ou negativa, indicando inibição neuronal. A rede fará o possível para minimizar a diferença entre a saída real e a saída esperada, de modo a alterar o peso das sinapses para realizar tarefas como reconhecimento de imagem.CPU e outros aceleradores de hardware são geralmente usados ​​​​para cálculo de DNN. O treinamento do DNN pode usar o conjunto de dados conhecido, e o DNN treinado pode ser usado para inferir os dados desconhecidos na tarefa. Embora a quantidade de cálculo seja grande, a diversidade de operações de cálculo não será muito alta, porque a operação de "multiplicação e acumulação" é dominante em muitos pesos sinápticos e excitação neuronal.DNN ainda pode funcionar normalmente quando a precisão do cálculo é baixa. Portanto, as redes DNN representam oportunidades potenciais para tecnologias de computação não tradicionais. Os pesquisadores estão tentando construir um acelerador DNN baseado em novos dispositivos de memória não volátil. Esse tipo de equipamento também pode salvar informações ao cortar o fornecimento de energia e melhorar a velocidade e a eficiência energética do DNN por meio da computação eletrônica analógica.

Então, por que não considerar o uso de óptica? Os componentes orientadores de luz podem conter uma grande quantidade de dados - sejam fibras ópticas para telecomunicações ou guias de ondas em chips fotônicos. Neste tipo de guia de ondas, a tecnologia de "multiplexação por divisão de comprimento de onda" pode ser usada para permitir que muitos comprimentos de onda diferentes de luz se propaguem juntos. Cada comprimento de onda pode então ser modulado (alterado de uma forma que possa transportar informações) a uma taxa limitada pela largura de banda disponível relacionada ao elétron, à modulação óptica e à detecção optoeletrônica.Fig. 1 circuito totalmente de neurônios de pulso ópticoO uso de ressonadores permite a adição ou remoção de um único comprimento de onda, assim como a carga e descarga de caminhões. A matriz de pesos sinápticos da rede DNN pode ser construída usando um ressonador de anel de mícron. O ressonador pode ser modulado termicamente, modulado eletro-óptico ou modulado por materiais de mudança de fase. Esses materiais podem alternar entre a fase amorfa e a fase cristalina, e a capacidade de absorção de luz de diferentes materiais varia muito. Em condições ideais, o consumo de energia de multiplicação e acumulação é muito baixo.

A equipe de pesquisa de Feldmann implementou "redes neurais totalmente ópticas" em chips fotônicos milimétricos, nos quais a conversão fotoelétrica não é usada na rede. Os dados de entrada são modulados eletronicamente para diferentes comprimentos de onda e injetados na rede, mas todos os dados permanecem no chip. Materiais integrados de mudança de fase são usados ​​para ajustar o peso sináptico e integrar neurônios.Fig. 2 geração de pulso e operação de neurônios artificiaisOs autores demonstram aprendizado supervisionado e não supervisionado em pequena escala - ou seja, treinamento usando dados rotulados (aprendizado DNN) e treinamento usando dados não rotulados (semelhante ao aprendizado humano).

Figo. 3 aprendizagem supervisionada e aprendizagem não supervisionada baseada na mudança de fase em todo o sistema de neurônios ópticos. Como a expressão do peso é realizada pela absorção de luz, o peso negativo requer um sinal de polarização maior, que não pode ativar o material de mudança de fase. Um método alternativo é usar o dispositivo do interferômetro Mach Zehnder para dividir um único guia de ondas em dois braços e então recombiná-los. Neste momento, a quantidade de luz transmitida depende da diferença de fase óptica entre os dois caminhos de propagação. No entanto, pode ser difícil combinar este método com a multiplexação por divisão de comprimento de onda, porque o braço de cada interferômetro precisa introduzir uma diferença de fase apropriada para cada comprimento de onda. Toda implementação óptica de DNN ainda enfrenta grandes desafios. Idealmente, sua utilização total de energia pode ser baixa, e a energia termoóptica é frequentemente necessária para ajustar e manter a diferença de fase óptica em cada braço do interferômetro Mach Zehnder.

Figo. 4 arquitetura escalável de todas as redes neurais ópticasAlém disso, a potência óptica total injetada no sistema contendo materiais de mudança de fase deve ser cuidadosamente calibrada para fazer com que a resposta dos materiais ao sinal de entrada atenda às expectativas. Embora materiais de mudança de fase também possam ser usados ​​para ajustar a fase Mach Zehnder, haverá inevitável acoplamento cruzado entre a intensidade da luz absorvida pelos materiais e a desaceleração da velocidade da luz, o que aumentará a complexidade do sistema. em grande escala, que pode conter milhares de neurônios e milhões de sinapses. No entanto, os guias de ondas das redes fotônicas precisam estar distantes uns dos outros para evitar o acoplamento e evitar curvaturas acentuadas para evitar que a luz saia do guia de ondas. Porque a intersecção dos dois guias de onda pode injetar energia indesejada no caminho errado, o que limita substancialmente as características 2D do design do chip fotônico.

Figo. 5 implementação experimental de rede neural de pulso de camada únicaÉ necessária uma longa distância e uma grande área para construir uma rede neural para dispositivos ópticos, mas a fabricação de peças-chave de cada estrutura óptica precisa de alta precisão. Isso ocorre porque o guia de onda e a região de acoplamento, como a entrada e a saída de cada ressonador de microanel, devem atingir o tamanho exato necessário para o desempenho correspondente da rede. Existem também muitas limitações sobre como fabricar pequenos ressonadores de microanel. Finalmente, a tecnologia de modulação fornece um efeito óptico fraco e requer uma longa região de interação para atingir um nível significativo de influência limitada na passagem da luz.

Espera-se que o progresso alcançado na pesquisa da equipe de Feldmann promova o desenvolvimento futuro deste campo. Esta pesquisa pode estabelecer as bases para o surgimento de aceleradores de redes neurais ópticas escalonáveis ​​e com eficiência energética no futuro.