Обучение с учителем и обучение без учителя на основе фазового изменения всей системы оптических нейронов

Недавно Nature опубликовала новое исследование IBM. «Полностью оптическая» глубокая нейронная сеть, построенная на основе оптических устройств, может быть более энергоэффективной, чем традиционные методы вычислений, и обладает преимуществами масштабируемости, отсутствия фотоэлектрического преобразования и высокой пропускной способности. Это открытие может заложить основу для появления оптического ускорителя нейронных сетей в будущем. Оптическое волокно может передавать данные по всему миру в форме света, что стало основой современных телекоммуникационных технологий. Однако если эти передаваемые данные необходимо проанализировать, их следует преобразовать из оптических сигналов в электронные сигналы, а затем обработать электронным оборудованием. Некоторое время оптика рассматривалась как основа наиболее потенциальной вычислительной технологии будущего, но по сравнению с быстрым прогрессом электронных компьютеров конкурентоспособность оптических вычислительных технологий явно недостаточна. Однако в последние несколько лет отрасль уделяет все больше внимания стоимости вычислительной энергии. Поэтому оптическая вычислительная система снова привлекает все больше внимания. Оптические вычисления имеют низкое энергопотребление и могут использоваться в качестве специального оборудования для ускорения алгоритмов искусственного интеллекта, таких как глубокая нейронная сеть (DNN). Недавно Фельдманн и другие опубликовали последние достижения в этой «реализации полностью оптической сети» в журнале Nature.

Глубокая нейронная сеть включает в себя многослойные искусственные нейроны и искусственные синапсы. Сила этих связей, называемая весами сети, может быть положительной, что указывает на возбуждение нейронов, или отрицательной, что указывает на торможение нейронов. Сеть будет стараться изо всех сил минимизировать разницу между фактическим выходным сигналом и ожидаемым выходным сигналом, чтобы изменить вес синапсов для выполнения таких задач, как распознавание изображений. Для расчета DNN обычно используются процессоры и другие аппаратные ускорители. Для обучения DNN можно использовать известный набор данных, а обученную DNN можно использовать для вывода неизвестных данных в задаче. Хотя объем вычислений велик, разнообразие вычислительных операций не будет очень высоким, поскольку операция «умножения и накопления» является доминирующей во многих синаптических весах и возбуждении нейронов. DNN все равно может нормально работать, когда точность вычислений низкая. Таким образом, сети DNN представляют собой потенциальные возможности для нетрадиционных вычислительных технологий. Исследователи пытаются создать ускоритель DNN на основе новых устройств энергонезависимой памяти. Такое оборудование также может сохранять информацию при отключении питания, а также повышать скорость и энергоэффективность DNN за счет аналоговых электронных вычислений.

Так почему бы не рассмотреть возможность использования оптики? Световодные компоненты могут содержать большой объем данных — будь то оптические волокна для телекоммуникаций или волноводы на фотонных чипах. В волноводах такого типа можно использовать технологию «мультиплексирования с разделением длин волн», позволяющую совместно распространять свет с разными длинами волн. Затем каждую длину волны можно модулировать (изменять таким образом, чтобы можно было передавать информацию) со скоростью, ограниченной доступной полосой пропускания, связанной с электронной и оптической модуляцией и оптоэлектронным обнаружением. Рис. 1 полностью оптическая импульсная нейронная схема. Использование резонаторов позволяет добавлять или удалять одну длину волны, точно так же, как при погрузке и разгрузке грузовиков. Массив синаптических весов сети DNN можно построить с помощью микронного кольцевого резонатора. Резонатор может быть термически модулированным, электрооптически модулированным или модулированным материалами с фазовым переходом. Эти материалы могут переключаться между аморфной фазой и кристаллической фазой, а светопоглощающая способность разных материалов сильно различается. В идеальных условиях энергопотребление умножения и накопления очень низкое.

Исследовательская группа Фельдмана реализовала «всю оптическую нейронную сеть» на миллиметровом фотонном чипе, в котором в сети не используется фотоэлектрическое преобразование. Входные данные электронно модулируются на разные длины волн и вводятся в сеть, но затем все данные остаются на чипе. Материалы с интегрированным фазовым переходом используются для регулировки синаптического веса и интеграции нейронов. Рис. 2. Генерация импульсов и работа искусственного нейрона. Авторы демонстрируют контролируемое и неконтролируемое обучение в небольших масштабах, то есть обучение с использованием размеченных данных (обучение DNN) и обучение с использованием неразмеченных данных (аналогично обучению человека).

Рис. 3 обучение с учителем и обучение без учителя, основанное на изменении фазы, вся система оптических нейронов. Поскольку выражение веса реализуется за счет поглощения света, отрицательный вес требует большего сигнала смещения, который не может активировать материал с фазовым изменением. Альтернативный метод - использовать устройство интерферометра Маха Цендера для разделения одного волновода на два плеча и последующего их объединения. В это время количество передаваемого света зависит от разницы оптических фаз между двумя путями распространения. Однако может быть сложно объединить этот метод с мультиплексированием с разделением по длине волны, поскольку плечо каждого интерферометра должно вводить соответствующую разность фаз для каждой длины волны. Любая оптическая реализация DNN по-прежнему сталкивается с серьезными проблемами. В идеале их общее использование мощности может быть низким, и термооптическая мощность часто требуется для регулировки и поддержания оптической разности фаз в каждом плече интерферометра Маха-Цендера.

Рис. 4 масштабируемая архитектура всех оптических нейронных сетей. Кроме того, общая оптическая мощность, вводимая в систему, содержащую материалы с фазовым переходом, должна быть тщательно откалибрована, чтобы реакция материалов на входной сигнал соответствовала ожиданиям. Хотя материалы с фазовым переходом также можно использовать для регулировки фазы Маха Цендера, будет неизбежна перекрестная связь между интенсивностью света, поглощаемого материалами, и замедлением скорости света, что увеличит сложность системы. Традиционная DNN разработала в больших масштабах, которые могут содержать тысячи нейронов и миллионы синапсов. Однако волноводы фотонных сетей должны находиться далеко друг от друга, чтобы предотвратить связь и избежать резкого изгиба, чтобы предотвратить выход света из волновода. Потому что пересечение двух волноводов может подавать нежелательную мощность по неправильному пути, что существенно ограничивает двумерные характеристики конструкции фотонного чипа.

Рис. 5 экспериментальная реализация однослойной импульсной нейронной сетиДля построения нейронной сети для оптических устройств требуется большое расстояние и большая площадь, но изготовление ключевых частей каждой оптической структуры требует высокой точности. Это связано с тем, что волновод и область связи, такая как вход и выход каждого микрокольцевого резонатора, должны достигать точного размера, необходимого для соответствующих характеристик сети. Существует также множество ограничений на изготовление небольших микрокольцевых резонаторов. Наконец, технология модуляции обеспечивает слабый оптический эффект и требует длинной области взаимодействия для достижения значительного уровня ограниченного влияния на прохождение света.

Ожидается, что прогресс, достигнутый в исследованиях команды Фельдманна, будет способствовать будущему развитию этой области. Это исследование может заложить основу для появления энергоэффективных и масштабируемых ускорителей оптических нейронных сетей в будущем.