Học tập có giám sát và học tập không giám sát dựa trên sự thay đổi pha Tất cả hệ thống nơ-ron quang học

Gần đây, Nature đã công bố một nghiên cứu mới của IBM. Mạng nơ-ron sâu "toàn quang học" được xây dựng bằng các thiết bị quang học có thể tiết kiệm năng lượng hơn các phương pháp tính toán truyền thống và có ưu điểm về khả năng mở rộng, không cần chuyển đổi quang điện và băng thông cao. Khám phá này có thể đặt nền móng cho sự xuất hiện của máy gia tốc mạng thần kinh quang học trong tương lai. Sợi quang có thể truyền dữ liệu trên toàn thế giới dưới dạng ánh sáng, đã trở thành trụ cột của công nghệ viễn thông hiện đại. Tuy nhiên, nếu cần phân tích những dữ liệu truyền này, chúng phải được chuyển đổi từ tín hiệu quang sang tín hiệu điện tử, sau đó được xử lý bằng thiết bị điện tử. Trong một thời gian, quang học được coi là nền tảng của công nghệ điện toán tiềm năng nhất trong tương lai, nhưng so với sự tiến bộ nhanh chóng của máy tính điện tử, khả năng cạnh tranh của công nghệ điện toán quang rõ ràng là chưa đủ. Tuy nhiên, trong vài năm trở lại đây, ngành này ngày càng chú ý nhiều hơn đến chi phí năng lượng tính toán. Vì vậy, hệ thống máy tính quang học ngày càng thu hút được nhiều sự chú ý hơn. Điện toán quang học có mức tiêu thụ năng lượng thấp và có thể được sử dụng làm phần cứng tăng tốc đặc biệt cho các thuật toán AI, chẳng hạn như mạng nơ-ron sâu (DNN). Gần đây, Feldmann và những người khác đã công bố tiến trình mới nhất của “việc triển khai toàn bộ mạng quang học” này trên tạp chí Nature.

Mạng lưới thần kinh sâu bao gồm các nơ-ron nhân tạo nhiều lớp và các khớp thần kinh nhân tạo. Sức mạnh của các kết nối này, được gọi là trọng số mạng, có thể dương, biểu thị sự kích thích tế bào thần kinh hoặc âm, biểu thị sự ức chế tế bào thần kinh. Mạng sẽ cố gắng hết sức để giảm thiểu sự khác biệt giữa đầu ra thực tế và đầu ra dự kiến, nhằm thay đổi trọng số của các khớp thần kinh để thực hiện các tác vụ như nhận dạng hình ảnh. CPU và các bộ tăng tốc phần cứng khác thường được sử dụng để tính toán DNN. Việc huấn luyện DNN có thể sử dụng tập dữ liệu đã biết và DNN được huấn luyện có thể được sử dụng để suy ra dữ liệu chưa biết trong tác vụ. Mặc dù khối lượng tính toán lớn nhưng tính đa dạng của các thao tác tính toán sẽ không cao lắm, bởi phép toán “nhân và tích lũy” chiếm ưu thế ở nhiều trọng số synap và kích thích nơ-ron. DNN vẫn có thể hoạt động bình thường khi độ chính xác của phép tính thấp. Vì vậy, mạng DNN đại diện cho những cơ hội tiềm năng cho các công nghệ điện toán phi truyền thống. Các nhà nghiên cứu đang cố gắng xây dựng máy gia tốc DNN dựa trên các thiết bị bộ nhớ không biến đổi mới. Loại thiết bị này còn có thể lưu thông tin khi cắt nguồn điện, đồng thời cải thiện tốc độ và hiệu quả sử dụng năng lượng của DNN thông qua điện toán điện tử analog.

Vậy tại sao không xem xét sử dụng quang học? Các thành phần dẫn ánh sáng có thể chứa một lượng lớn dữ liệu - cho dù là sợi quang cho viễn thông hay ống dẫn sóng trên chip quang tử. Trong loại ống dẫn sóng này, công nghệ "ghép kênh phân chia bước sóng" có thể được sử dụng để cho phép nhiều bước sóng ánh sáng khác nhau truyền cùng nhau. Mỗi bước sóng sau đó có thể được điều chế (thay đổi theo cách có thể mang thông tin) ở tốc độ giới hạn bởi băng thông có sẵn liên quan đến điện tử để điều chế quang học và phát hiện quang điện tử.Hình. 1 mạch nơ-ron xung toàn quang học Việc sử dụng bộ cộng hưởng cho phép bổ sung hoặc loại bỏ một bước sóng duy nhất, giống như việc bốc dỡ hàng của xe tải. Mảng trọng lượng synap của mạng DNN có thể được xây dựng bằng cách sử dụng bộ cộng hưởng vòng micron. Bộ cộng hưởng có thể được điều chế nhiệt, điều chế quang điện hoặc điều chế bằng vật liệu chuyển pha. Những vật liệu này có thể chuyển đổi giữa pha vô định hình và pha tinh thể, khả năng hấp thụ ánh sáng của các vật liệu khác nhau rất khác nhau. Trong điều kiện lý tưởng, năng lượng tiêu thụ của phép nhân và tích lũy rất thấp.

Nhóm nghiên cứu của Feldmann đã triển khai "mạng lưới thần kinh toàn quang học" trên chip quang tử milimet, trong đó mạng không sử dụng chuyển đổi quang điện. Dữ liệu đầu vào được điều chế điện tử theo các bước sóng khác nhau và được đưa vào mạng, nhưng sau đó tất cả dữ liệu vẫn còn trên chip. Vật liệu thay đổi pha tích hợp được sử dụng để điều chỉnh trọng lượng khớp thần kinh và tích hợp tế bào thần kinh.Hình. 2 tạo xung và vận hành nơ-ron nhân tạoCác tác giả chứng minh việc học có giám sát và không giám sát ở quy mô nhỏ - tức là đào tạo bằng cách sử dụng dữ liệu được dán nhãn (học DNN) và đào tạo bằng cách sử dụng dữ liệu không được gắn nhãn (tương tự như học tập của con người).

Vả. 3 học có giám sát và học không giám sát dựa trên sự thay đổi pha của toàn bộ hệ thống nơ-ron quang học. Vì biểu hiện trọng số được thực hiện bằng sự hấp thụ ánh sáng nên trọng số âm yêu cầu tín hiệu sai lệch lớn hơn nên không thể kích hoạt vật liệu thay đổi pha. Một phương pháp khác là sử dụng thiết bị giao thoa kế Mach Zehnder để chia một ống dẫn sóng thành hai nhánh rồi kết hợp lại chúng. Lúc này, lượng ánh sáng truyền qua phụ thuộc vào độ lệch pha quang giữa hai đường truyền. Tuy nhiên, có thể khó kết hợp phương pháp này với ghép kênh phân chia bước sóng, vì cánh tay của mỗi giao thoa kế cần đưa ra độ lệch pha thích hợp cho từng bước sóng. Tất cả việc triển khai quang học của DNN vẫn phải đối mặt với những thách thức lớn. Lý tưởng nhất là tổng công suất sử dụng của chúng có thể thấp và công suất nhiệt quang thường được yêu cầu để điều chỉnh và duy trì độ lệch pha quang trong mỗi nhánh giao thoa kế Mach Zehnder.

Vả. 4 Kiến trúc có thể mở rộng của tất cả mạng lưới thần kinh quang học Ngoài ra, tổng công suất quang được đưa vào hệ thống chứa vật liệu chuyển pha phải được hiệu chỉnh cẩn thận để làm cho phản ứng của vật liệu với tín hiệu đầu vào đáp ứng mong đợi. Mặc dù vật liệu thay đổi pha cũng có thể được sử dụng để điều chỉnh pha Mach Zehnder, nhưng sẽ không thể tránh khỏi sự kết hợp chéo giữa cường độ ánh sáng được hấp thụ bởi vật liệu và làm chậm tốc độ ánh sáng, điều này sẽ làm tăng độ phức tạp của hệ thống. DNN truyền thống đã phát triển ở quy mô lớn, có thể chứa hàng ngàn tế bào thần kinh và hàng triệu khớp thần kinh. Tuy nhiên, các ống dẫn sóng của mạng quang tử cần phải cách xa nhau để tránh sự ghép nối và tránh bị uốn cong đột ngột để ngăn ánh sáng rời khỏi ống dẫn sóng. Bởi vì sự giao nhau của hai ống dẫn sóng có thể đưa năng lượng không mong muốn vào sai đường dẫn, điều này hạn chế đáng kể các đặc tính 2D của thiết kế chip quang tử.

Vả. 5 triển khai thử nghiệm mạng nơ-ron xung đơn lớp Phải mất một khoảng cách xa và diện tích lớn để xây dựng mạng nơ-ron cho các thiết bị quang học, nhưng việc chế tạo các bộ phận quan trọng của từng cấu trúc quang học cần độ chính xác cao. Điều này là do ống dẫn sóng và vùng ghép, chẳng hạn như đầu vào và đầu ra của mỗi bộ cộng hưởng microring, phải đạt kích thước chính xác cần thiết cho hiệu suất mạng tương ứng. Ngoài ra còn có nhiều hạn chế về cách chế tạo bộ cộng hưởng microring nhỏ. Cuối cùng, công nghệ điều chế mang lại hiệu ứng quang học yếu và cần vùng tương tác dài để đạt được mức độ ảnh hưởng hạn chế đáng kể đối với ánh sáng truyền qua.

Những tiến bộ đạt được trong nghiên cứu của nhóm Feldmann được kỳ vọng sẽ thúc đẩy sự phát triển của lĩnh vực này trong tương lai. Nghiên cứu này có thể đặt nền tảng cho sự xuất hiện của các máy gia tốc mạng thần kinh quang học tiết kiệm năng lượng và có thể mở rộng trong tương lai.