Нова архітектура, що поєднує в собі глибокі нейронні мережі та векторно-символьні моделі
Дослідники з IBM Research Zürich та ETH Zürich нещодавно створили та представили громадськості нейро-векторно-символічну архітектуру (NVSA), в якій два потужні механізми, а саме: глибокі нейронні мережі (DNN) та векторно-символічні архітектури (VSA), синергетично об'єднані для кодування інтерфейсу візуального сприйняття та сервера імовірнісних міркувань. Їхня архітектура, представлена в журналі Nature Machine Intelligence, може подолати обмеження обох цих підходів, ефективніше вирішуючи прогресивні матриці та інші завдання на мислення.
На цей час ні глибокі нейронні мережі, ні символічний штучний інтелект (ШІ) самі собою ще не демонструють той ступінь інтелекту, який ми можемо спостерігати у людей. Основною причиною цього є той факт, що нейронні мережі не можуть розділяти загальні уявлення даних для отримання окремих об'єктів. Це називають проблемою зв'язування. У свою чергу, недолік символічного ШІ – надмірна кількість правил. Ці дві проблеми є основними у нейросимволічному ШІ, який прагне поєднати найкраще з двох парадигм.
Нейро-векторно-символічна архітектура NVSA якраз і покликана вирішити ці дві проблеми за рахунок використання її потужних операторів у багатовимірних розподілених уявленнях, які є спільною мовою між нейронними мережами та символічним штучним інтелектом. NVSA поєднує глибокі нейронні мережі, які, як відомо, добре справляються із завданнями сприйняття, з механізмом VSA.
VSA – це обчислювальні моделі, які використовують багатомірні розподілені вектори та їх алгебраїчні властивості для того, щоб виконувати символьні обчислення. У VSA уявлення: від атомарних до складових структур – є багатовимірними голографічними векторами однієї й тієї фіксованої розмірності.
Уявлення VSA можуть бути складені, розкладені, досліджені та перетворені різними способами з використанням набору чітко визначених операцій, включаючи зв'язування, розв'язування, об’єднання, перестановки, зворотні перестановки та асоціативну пам'ять. Такі характеристики композиційності та прозорості дозволяють використовувати VSA у міркуваннях за аналогією, але VSA не містить модуля сприйняття для обробки необроблених сенсорних входів. Їй потрібна система сприйняття, наприклад, символьний синтаксичний аналізатор, що надає символічні уявлення, що підтримують мислення.
При розробці NVSA дослідники сфокусувалися на вирішенні завдань абстрактного візуального мислення, зокрема, загальновживаних тестів IQ, відомих як прогресивні матриці Raven.
Прогресивні матриці Raven – це тести, призначені для діагностики рівня інтелектуального розвитку та навичок абстрактного мислення. З їхньою допомогою оцінюється здатність до систематизованої, планомірної та методичної інтелектуальної діяльності, а також логічність мислення в цілому. Тести складаються з низки предметів, представлених у наборах, де відсутні один чи кілька предметів. Щоб розв’язувати прогресивні матриці Raven, респонденти повинні правильно визначити відсутні елементи в заданих наборах серед кількох можливих варіантів. Це вимагає сильних здібностей до міркування, таких як здатність виявляти абстрактні відношення між об'єктами, які можуть бути пов'язані з їхньою формою, розміром, кольором або іншими характеристиками.
Під час перших оцінювань NVSA продемонструвала високу ефективність, розв’язуючи прогресивні матриці Raven. У порівнянні з сучасними глибокими нейронними мережами та нейросимволічними підходами наскрізне навчання NVSA досягає нового рекорду середньої точності 87,7% у наборах даних RAVEN. NVSA також досягає найвищої точності 88,1% у наборі даних I-RAVEN, тоді як більшість підходів глибинного навчання стикаються з великим падінням точності, показуючи в середньому <50% точності. NVSA також забезпечує виконання розрахунків на процесорах у реальному часі, що у 244 рази швидше, ніж функціонально-еквівалентне символічне логічне мислення.
Для розв’язання матриць Raven за допомогою символічного підходу застосовується метод імовірнісного викрадення. Це пошук рішення у просторі, яке визначається попередніми знаннями про тест. Попереднє знання представлене у символічній формі шляхом опису всіх можливих реалізацій правил, які могли б керувати тестами Raven. За такого підходу для пошуку рішення потрібно пройти всі допустимі комбінації, обчислити ймовірність правил і підсумовувати їх. Ці обчислення дуже трудомісткі і є вузьким місцем пошуку через велику кількість комбінацій, які неможливо протестувати.
NVSA не стикається з цією проблемою, оскільки вміє виконувати такі об'ємні ймовірні обчислення всього за одну векторну операцію. Це дозволяє їй вирішувати такі завдання, як прогресивні матриці Raven, швидше і точніше, ніж інші підходи до ШІ, засновані тільки на глибоких нейронних мережах або VSA. Це перший приклад, що демонструє як ймовірні міркування можуть ефективно виконуватися за допомогою розподілених уявлень і операторів VSA.
NVSA - це важливий крок до об'єднання різних парадигм ШІ в єдину структуру для вирішення завдань, пов'язаних як із сприйняттям, так і з мисленням вищого рівня. Архітектура виявилася дуже перспективною для ефективного і швидкого вирішення складних логічних завдань. У майбутньому її можна буде протестувати та застосувати до інших різних проблем, а також потенційно надихнути дослідників на розробку таких підходів.
Бібліотека, яка реалізує функції NVSA, доступна на сайті GitHub.
Повний приклад розв'язання матриць Raven можна знайти тут.