Deep neural network - нейронна мережа на основі кремнієвих мемристивних синапсів
Останнім часом моделі нейронних мереж стають більш точними та досконалими, що призводить до посилення енерговитрат при їх навчанні та використанні у звичайних комп'ютерах. Розробники з усього світу працюють над створенням альтернативного, "мозкоподібного" апаратного забезпечення, щоб гарантувати покращену продуктивність за високих обчислювальних навантажень для систем штучного інтелекту.
Дослідники з Ізраїльського технологічного інституту Техніон та лабораторії Peng Cheng нещодавно створили нову нейроморфну обчислювальну систему, що підтримує генеративний та графічний клас моделей глибинного навчання та можливість роботи з нейронними моделями глибинного навчання (DBN).
Робота вчених була представлена у журналі Nature Electronics. Основою системи стали кремнієві мемристори. Це енергоефективні пристрої для зберігання та обробки інформації. Раніше ми вже згадували про застосування мемристорів у галузі штучного інтелекту. Велика наукова спільнота вже давно працює над нейроморфними обчисленнями і застосування мемристорів виглядає досить перспективно та багатообіцяюче.
Мемристори - це електронні компоненти, які можуть перемикати або регулювати потік електричного струму в ланцюзі, а також здатні запам'ятовувати заряд, що проходить через ланцюг. Вони добре підходять для роботи моделей штучного інтелекту, оскільки їх можливості та структура більше нагадують синапси у людському мозку, ніж звичайні блоки пам'яті та процесори.
Але, наразі мемристори все ж переважно використовуються для аналогових обчислень, і значно меншою мірою в галузі проєктування ШІ. Мемристивна технологія досі не набула широкого поширення в нейроморфній області, оскільки вартість застосування мемристорів залишається досить високою.
Професор Кватинський та його колеги з Ізраїльського технологічного інституту Техніон та лабораторії Peng Cheng вирішили обійти це обмеження. Як вже було згадано вище, мемристори не є широко доступними, тому дослідники вирішили замість мемристорів використовувати комерційно доступну флеш-технологію, розроблену Tower Semiconductor. Вони спроєктували її поведінку таким чином, щоб вона була схожа на мемристор. Також вони спеціально протестували свою систему із нещодавно розробленою DBN, це стара теоретична концепція машинного навчання. Причиною її використання став той факт, що Deep neural network не потребує перетворення даних, її вхідні та вихідні дані є двійковими та за своєю суттю цифровими.
Ідея вчених полягала в тому, щоб використовувати бінарні (тобто зі значенням 0 або 1) нейрони (введення/виведення). В роботі досліджувалися мемристивні синаптичні пристрої з двома терміналами з плаваючим затвором, виготовлені у рамках стандартного виробничого процесу CMOS. В результаті було створено мемристивні синапси на основі кремнію. Ці штучні синапси були названі кремнієвими синапсами. Нейронні стани були повністю бінаризовані, що спрощує конструкцію нейронної схеми, де більше не потрібні дорогі аналого-цифрові та цифро-аналогові перетворювачі (АЦП та ЦАП).
Кремнієві синапси мають безліч переваг: аналогова провідність, висока зносостійкість, тривалий час утримування, а також передбачувана циклічна деградація та помірні варіації від пристрою до пристрою.
Кватинський та його колеги створили мемристивну нейронну мережу глибинного навчання (Deep neural network). Вона складається з трьох мемристивних обмежених машин Больцмана 19x8, для якої використовували два масиви мемристорів 12x8.
Тестування цієї системи відбувалося з допомогою модифікованого набору даних MNIST. Точність розпізнавання мережі з використанням мемристорів на основі Y-Flash досягла 97,05%.
Надалі розробники планують масштабувати цю архітектуру, застосовувати інші та загалом дослідити додаткові мемристивні технології.
Архітектура, представлена вченими, пропонує нове життєздатне рішення запуску обмежених машин Больцмана та інших DBN. У майбутньому це може стати основою для розробки подібних нейроморфних систем, і надалі допоможе підвищити енергоефективність систем ШІ.
На github ви можете ознайомитися з кодом MATLAB для мемристивної мережі глибинного навчання, що базується на двополюсному мемристорі з плаваючим затвором (пристрій y-flash).