Deep neural network - нейронная сеть на основе кремниевых мемристивных синапсов
В последнее время модели нейронных сетей становятся более точными и совершенными, что приводит к усилению энергозатрат при их обучении и использовании на обычных компьютерах. Разработчики со всего мира работают над созданием альтернативного, "мозгоподобного" аппаратного обеспечения, чтобы гарантировать улучшенную производительность при высоких вычислительных нагрузках для систем искусственного интеллекта.
Исследователи из Израильского технологического института Технион и лаборатории Peng Cheng недавно создали новую нейроморфную вычислительную систему, поддерживающую генеративный и графический класс моделей глубокого обучения и возможность работы с нейронными моделями глубокого обучения (DBN).
Работа ученых была представлена в журнале Nature Electronics. Основой системы являются кремниевые мемристоры. Это энергоэффективные устройства для хранения и обработки информации. Ранее мы уже упоминали о применении мемристоров в области искусственного интеллекта. Большое научное сообщество уже довольно давно работает над нейроморфными вычислениями и применение мемристоров выглядит весьма перспективно и многообещающе.
Мемристоры — это электронные компоненты , которые могут переключать или регулировать поток электрического тока в цепи, а также способны запоминать заряд, который проходит через цепь. Они хорошо подходят для работы моделей искусственного интеллекта, поскольку их возможности и структура больше напоминают синапсы в человеческом мозгу, чем обычные блоки памяти и процессоры.
Но, на данный момент мемристоры все еще преимущественно используются для аналоговых вычислений, и в значительно меньшей мере в области проектирования ИИ. Мемристивная технология до сих пор не получила широкого распространения в нейроморфной области, поскольку стоимость применения мемристоров остается достаточно высокой.
Профессор Кватинский и его коллеги из Израильского технологического института Технион и лаборатории Peng Cheng решили обойти это ограничение. Как уже было упомянуто выше, мемристоры не являются широко доступными, поэтому исследователи решили вместо мемристоров использовать коммерчески доступную флэш-технологию, разработанную Tower Semiconductor. Они спроектировали ее поведение таким образом, чтобы она была похожа на мемристор. Также они специально протестировали свою систему с недавно разработанной DBN, это старая теоретическая концепция машинного обучения. Причиной ее использования стал тот факт, что Deep neural network не требует преобразования данных, ее входные и выходные данные являются двоичными и по своей сути цифровыми.
Идея ученых заключалась в том, чтобы использовать бинарные (то есть со значением 0 или 1) нейроны (ввод/вывод). В работе исследовались мемристивные синаптические устройства с двумя терминалами с плавающим затвором, изготовленные в рамках стандартного производственного процесса CMOS. В результате были созданы мемристивные синапсы на основе кремния. Эти искусственные синапсы были названы кремниевыми синапсами. Нейронные состояния были полностью бинаризованы, что упрощает конструкцию нейронной схемы, где больше не нужны дорогие аналого-цифровые и цифро-аналоговые преобразователи (АЦП и ЦАП).
Кремниевые синапсы обладают множеством преимуществ: аналоговая проводимость, высокая износостойкость, длительное время удерживания, а также предсказуемая циклическая деградация и умеренные вариации от устройства к устройству.
Кватинский и его коллеги создали мемристивную нейронную сеть глубокого обучения (Deep neural network). Она состоит из трех мемристивных ограниченных машин Больцмана 19x8, для которой использовали два массива мемристоров 12x8.
Тестирование этой системы происходило с помощью модифицированного набора данных MNIST. Точность распознавания сети с использованием мемристоров на основе Y-Flash достигла 97,05%.
В дальнейшем разработчики планируют масштабировать эту архитектуру, применять другие и в целом исследовать дополнительные мемристивные технологии.
Архитектура, представленная учеными, предлагает новое жизнеспособное решение для запуска ограниченных машин Больцмана и других DBN. В будущем это может стать основой для разработки подобных нейроморфных систем, и в дальнейшем поможет повысить энергоэффективность систем ИИ.
На github вы можете ознакомиться с кодом MATLAB для мемристивной сети глубокого убеждения, основанной на двухполюсном мемристоре с плавающим затвором (устройство y-flash).