Новая архитектура, сочетающая в себе глубокие нейронные сети и векторно-символьные модели
Исследователи из IBM Research Zürich и ETH Zürich недавно создали и представили общественности нейро-векторно-символическую архитектуру (NVSA), в которой два мощных механизма, а именно: глубокие нейронные сети (DNN) и векторно-символические архитектуры (VSA), синергетически объединены для кодирования интерфейса визуального восприятия и сервера вероятностных рассуждений. Их архитектура, представленная в журнале Nature Machine Intelligence, может преодолеть ограничения обоих этих подходов, более эффективно решая прогрессивные матрицы и другие задачи рассуждений.
На данный момент ни глубокие нейронные сети, ни символический искусственный интеллект (ИИ) сами по себе еще не демонстрируют ту степень интеллекта, которую мы можем наблюдать у людей. Основной причиной этого является тот факт, что нейронные сети не могут разделять общие представления данных для получения отдельных объектов. Это называют проблемой связывания. В свою очередь недостаток символического ИИ – перебор правил. Эти две проблемы являются основными в нейросимволическом ИИ, который стремится объединить лучшее из двух парадигм.
Нейро-векторно-символическая архитектура NVSA как раз и призвана решить эти две проблемы за счет использования ее мощных операторов в многомерных распределенных представлениях, которые служат общим языком между нейронными сетями и символическим искусственным интеллектом. NVSA объединяет глубокие нейронные сети, которые, как известно, хорошо справляются с задачами восприятия, с механизмом VSA.
VSA – это вычислительные модели, которые используют многомерные распределенные векторы и их алгебраические свойства для того, чтобы выполнять символьные вычисления. В VSA все представления: от атомарных до составных структур – являются многомерными голографическими векторами одной и той же фиксированной размерности.
Представления VSA могут быть составлены, разложены, исследованы и преобразованы различными способами с использованием набора четко определенных операций, включая связывание, развязывание, объединения, перестановки, обратные перестановки и ассоциативную память. Такие характеристики композиционности и прозрачности позволяют использовать VSA в рассуждениях по аналогии, но VSA не имеет модуля восприятия для обработки необработанных сенсорных входов. Ей необходима система восприятия, например, символьный синтаксический анализатор, предоставляющий символические представления, поддерживающие рассуждения.
При разработке NVSA исследователи сфокусировались на решении задач визуального абстрактного мышления, в частности, широко используемых тестов IQ, известных как прогрессивные матрицы Raven.
Прогрессивные матрицы Raven это тесты, предназначенные для диагностики уровня интеллектуального развития и навыков абстрактного мышления. С их помощью оценивается способность к систематизированной, планомерной и методичной интеллектуальной деятельности, а также логичность мышления в целом. Тесты состоят из ряда предметов, представленных в наборах, в которых отсутствует один или несколько предметов. Чтобы решить прогрессивные матрицы Raven, респонденты должны правильно определить недостающие элементы в заданных наборах среди нескольких возможных вариантов. Это требует расширенных способностей к рассуждению, таких как способность обнаруживать абстрактные отношения между объектами, которые могут быть связаны с их формой, размером, цветом или другими характеристиками.
В первоначальных оценках NVSA продемонстрировала высокую эффективность, решая прогрессивные матрицы Raven. По сравнению с современными глубокими нейронными сетями и нейросимволическими подходами сквозное обучение NVSA достигает нового рекорда средней точности 87,7% в наборах данных RAVEN. NVSA также достигает наивысшей точности 88,1% в наборе данных I-RAVEN, в то время как большинство подходов глубокого обучения сталкиваются с большим падением точности, показывая в среднем <50% точности. NVSA также обеспечивает выполнение расчетов на процессорах в реальном времени, что в 244 раза быстрее, чем функционально-эквивалентное символическое логическое рассуждение.
Для решения матриц Raven с помощью символического подхода применяется метод вероятностного похищения. Это поиск решения в пространстве, которое определяется предварительными знаниями о тесте. Предыдущее знание представлено в символической форме путем описания всех возможных реализаций правил, которые могли бы управлять тестами Raven. При таком подходе для поиска решения нужно пройти все допустимые комбинации, вычислить вероятность правил и суммировать их. Эти вычисления весьма трудоемки, что является узким местом поиска из-за большого количества комбинаций, которые невозможно протестировать.
NVSA не сталкивается с этой проблемой, поскольку умеет выполнять такие объемные вероятностные вычисления всего за одну векторную операцию. Это позволяет ей решать такие задачи, как прогрессивные матрицы Raven быстрее и точнее, чем другие подходы к ИИ, основанные только на глубоких нейронных сетях или VSA. Это самый первый пример, демонстрирующий как вероятностные рассуждения могут эффективно выполняться с помощью распределенных представлений и операторов VSA.
NVSA – это важный шаг к объединению различных парадигм ИИ в единую структуру для решения задач, связанных как с восприятием, так и с рассуждениями более высокого уровня. Архитектура оказалась очень многообещающей для эффективного и быстрого решения сложных логических задач. В будущем ее можно будет протестировать и применить к другим различным проблемам, а также потенциально вдохновить исследователей на разработку подобных подходов.
Библиотека, которая реализует функции NVSA, доступна на сайте GitHub.
Полный пример решения матриц Raven можно найти здесь.