Curious Replay: сила любопытства для развития искусственного интеллекта
Интересный научный эксперимент провели исследователи Айзек Каувар (Isaac Kauvar) и Крис Дойл (Chris Doyle), когда решили выяснить, кто окажется лучшим в противостоянии: современный искусственный интеллект (ИИ) или мышь. Целью новаторского эксперимента, проведенного в Институте нейронаук Ву Цай при Стэнфордском университете, было использовать естественные способности животных, чтобы повысить эффективность работы систем ИИ.
Заинтересованные в изучении возможностей животных адаптироваться к новой среде, исследователи разработали простую задачку. Они поместили мышь в пустую коробку, а имитацию искусственного интеллекта – на виртуальную 3D-арену, и разместили в каждом пространстве красный шарик. Цель эксперимента заключалась в том, чтобы наблюдать, кто быстрее начнет взаимодействовать с новым предметом.
К удивлению ученых, мышь быстро приблизилась к красному шару и начала его исследовать, в то время как агент ИИ даже не заметил его присутствия. Этот неожиданный результат привел к осознанию: даже с самым современным алгоритмом все еще есть пробелы в работе искусственного интеллекта.
Это открытие разожгло любопытство ученых. Смогут ли они использовать, казалось бы, простое поведение животных для улучшения работы систем ИИ? Полные решимости исследовать этот потенциал, Каувар, Дойл, а также аспирант Линки Чжоу (Linqi Zhou) под руководством доцента Ника Хабера (Nick Haber) приступили к разработке нового метода обучения под названием "любопытное повторение" ("curious replay").
Целью "любопытного повторения" было побудить агентов ИИ к самоанализу и обучению на основе новых исследований, подобно тому, как это проявилось в поведении мыши с красным шариком. Применение этого метода оказалось решающим, поскольку он позволил агенту ИИ научиться быстро взаимодействовать с шариком.
Значение любознательности в нашей жизни выходит далеко за пределы интеллектуальных изысканий. Она играет немаловажную роль в выживании, помогая нам ориентироваться в опасных ситуациях. Понимая важность любопытства, такие лаборатории, как Хабер, внедрили сигнал любознательности для агентов ИИ, в частности, для агентов, натренированных на основе моделей обучения с подкреплением. Такой сигнал побуждает их выбирать действия, которые приведут к более интересным результатам, а не отказываться от потенциальных возможностей.
Однако Каувар, Дойл и их команда пошли дальше, используя любопытство, чтобы научить агентов ИИ лучше понимать окружающую среду. Вместо того, чтобы просто управлять процессом принятия решений, исследователи, стимулируя любознательность ИИ, хотели, чтобы он самостоятельно анализировал и обдумывал свой опыт.
Повторение опыта предполагает сохранение воспоминаний о взаимодействии и случайное их воспроизведение для обобщения знаний, подобно тому, как гиппокамп мозга активирует определенные нейроны во время сна для усиления памяти. Однако в изменяющейся среде повторное воспроизведение всего опыта может оказаться неэффективным. Поэтому исследователи предложили новый подход, отдав преимущество воспроизведению самых интересных событий, таких как встреча с красным шаром.
Этот метод, получивший название "curious replay", мгновенно доказал свою действенность, побуждая агента ИИ быстрее и эффективнее взаимодействовать с шариком.
Успех "любопытного повторения" обещает изменить будущее для исследований ИИ. Он способствует эффективному изучению агентами ИИ новых или изменяющихся сред и открывает пути для более адаптивных и гибких технологий. Это принесет пользу в таких сферах, как робототехника и персонализированные инструменты обучения.
Проведенное исследование направлено на преодоление разрыва между искусственным интеллектом и нейронаукой, углубляя наше понимание поведения животных и основных нейронных процессов. Прочитать полное исследование о "любопытном повторении" можно здесь.