NTT og University of Tokyo utvikler verdens første optiske AI ved hjelp av en algoritme inspirert av den menneskelige hjernen

Samarbeid fremmer den praktiske anvendelsen av laveffekt, høyhastighets AI basert på optisk databehandling

TOKYO–(BUSINESS WIRE)–#TechforGood-NTT Corporation (President og administrerende direktør: Akira Shimada, "NTT") og University of Tokyo (Bunkyo-ku, Tokyo, president: Teruo Fujii) har utviklet en ny læringsalgoritme inspirert av informasjonsbehandlingen av hjernen som er egnet for flerlags kunstige nevrale nettverk (DNN) ved bruk av analoge operasjoner. Dette gjennombruddet vil føre til en reduksjon i strømforbruk og beregningstid for AI. Resultatene av denne utviklingen ble publisert i det britiske vitenskapelige tidsskriftet Nature Communications på desember 26^th.

Forskere oppnådde verdens første demonstrasjon av effektivt utført optisk DNN-læring ved å bruke algoritmen til en DNN som bruker optisk analog beregning, som forventes å muliggjøre høyhastighets, laveffekts maskinlæringsenheter. I tillegg har de oppnådd verdens høyeste ytelse av et flerlags kunstig nevrale nettverk som bruker analoge operasjoner.

Tidligere ble høybelastningsberegninger utført ved digitale beregninger, men dette resultatet beviser at det er mulig å forbedre effektiviteten til læringsdelen ved å bruke analoge beregninger. I Deep Neural Network (DNN)-teknologi beregnes et tilbakevendende nevralt nettverk kalt deep reservoir computing ved å anta en optisk puls som et nevron og en ikke-lineær optisk ring som et nevralt nettverk med rekursive forbindelser. Ved å re-inputte utgangssignalet til den samme optiske kretsen, blir nettverket kunstig utdypet.

DNN-teknologi muliggjør avansert kunstig intelligens (AI) som maskinoversettelse, autonom kjøring og robotikk. For tiden øker kraften og beregningstiden som kreves med en hastighet som overstiger veksten i ytelsen til digitale datamaskiner. DNN-teknologi, som bruker analoge signalberegninger (analoge operasjoner), forventes å være en metode for å realisere høyeffektive og høyhastighetsberegninger som ligner på hjernens nevrale nettverk. Samarbeidet mellom NTT og University of Tokyo har utviklet en ny algoritme egnet for en analog operasjon DNN som ikke forutsetter forståelsen av læringsparametrene som er inkludert i DNN.

Den foreslåtte metoden lærer ved å endre læringsparametrene basert på det siste laget av nettverket og den ikke-lineære tilfeldige transformasjonen av feilen til det ønskede utgangssignalet (feilsignal). Denne beregningen gjør det lettere å implementere analoge beregninger i ting som optiske kretser. Den kan også brukes ikke bare som en modell for fysisk implementering, men også som en banebrytende modell som brukes i applikasjoner som maskinoversettelse og ulike AI-modeller, inkludert DNN-modellen. Denne forskningen forventes å bidra til å løse nye problemer knyttet til AI-databehandling, inkludert strømforbruk og økt beregningstid.

I tillegg til å undersøke anvendeligheten av metoden foreslått i denne artikkelen på spesifikke problemer, vil NTT også fremme storskala og småskala integrasjon av optisk maskinvare, med sikte på å etablere en høyhastighets laveffekts optisk databehandlingsplattform for fremtidig optisk nettverk.

Støtte til denne forskningen:

JST/CREST støttet deler av disse forskningsresultatene.

Magasinpublisering:

Blad: Nature Communications (Nettversjon: 26. desember)

Artikkeltittel: Fysisk dyplæring med biologisk inspirert treningsmetode: gradientfri tilnærming for fysisk maskinvare

Forfattere: Mitsumasa Nakajima, Katsuma Inoue, Kenji Tanaka, Yasuo Kuniyoshi, Toshikazu Hashimoto og Kohei Nakajima

Forklaring av terminologi:

1. Optisk krets: En krets der optiske bølgeledere av silisium eller kvarts er integrert på en silisiumplate ved bruk av elektronisk kretsproduksjonsteknologi. I kommunikasjon utføres forgreningen og sammenslåingen av optiske kommunikasjonsveier ved optisk interferens, bølgelengdemultipleksing/demultipleksing og lignende.
2. Backpropagation (BP) metode: Den mest brukte læringsalgoritmen i dyp læring. Gradienter av vekter (parametere) i nettverket oppnås mens feilsignalet spres bakover, og vektene oppdateres slik at feilen blir mindre. Siden tilbakepropageringsprosessen krever transponering av vektmatrisen til nettverksmodellen og ikke-lineær differensiering, er det vanskelig å implementere på analoge kretser, inkludert hjernen til en levende organisme.
3. Analog databehandling: En datamaskin som uttrykker virkelige verdier bruker fysiske størrelser som lysets intensitet og fase og retningen og intensiteten til magnetiske spinn og utfører beregninger ved å endre disse fysiske størrelsene i henhold til fysikkens lover.
4. Direkte tilbakemeldingsjustering (DFA) metode: En metode for pseudo-beregning av feilsignalet til hvert lag ved å utføre en ikke-lineær tilfeldig transformasjon på feilsignalet til det siste laget. Siden den ikke krever differensiell informasjon fra nettverksmodellen og kun kan beregnes ved parallell tilfeldig transformasjon, er den kompatibel med analog beregning.
5. Reservoarberegning: En type tilbakevendende nevrale nettverk med tilbakevendende forbindelser i det skjulte laget. Det er preget av tilfeldig fiksering av forbindelser i et mellomlag kalt et reservoarlag. I dyp reservoarberegning utføres informasjonsbehandling ved å koble sammen reservoarlag i flere lag.

NTT og NTT-logoen er registrerte varemerker eller varemerker for NIPPON TELEGRAPH AND TELEPHONE CORPORATION og/eller dets tilknyttede selskaper. Alle andre refererte produktnavn er varemerker for sine respektive eiere. © 2023 NIPPON TELEGRAPH AND TELEPHONE CORPORATION

Kontakter

Stephen Russell

Wireside kommunikasjon®

For NTT

+ 1-804-362-7484

[e-postbeskyttet]