Улучшение машинного обучения: поиск баланса между имитацией и пробно-ошибочным методами

Исследователи из Массачусетского технологического института (МИТ) и Израильского технологического института (Технион) разработали инновационный алгоритм, который может произвести революцию в том, как машины обучаются справляться с неопределенными ситуациями в реальном мире. Вдохновленный процессом обучения людей, алгоритм динамически определяет, когда машина должна имитировать "учителя" (метод, известный как имитационное обучение), а когда она должна исследовать и учиться методом проб и ошибок (метод, известный как обучение с подкреплением).

Основная идея алгоритма заключается в достижении баланса между двумя методами обучения. Вместо того, чтобы полагаться на грубый метод проб и ошибок или фиксированные комбинации имитации и обучения с подкреплением, исследователи одновременно обучали две учебные машины. Одна машина использовала взвешенную комбинацию обоих методов обучения, в то время как другая полагалась исключительно на обучение с подкреплением.

Алгоритм непрерывно сравнивал результаты двух учебных машин. Если машина-ученик, пользуясь руководством учителя, достигала лучших результатов, алгоритм увеличивал вес имитационного метода для обучения. И наоборот, если машина-ученик, полагающаяся на метод проб и ошибок, показывала многообещающий прогресс, алгоритм больше ориентировался на обучение с подкреплением. Благодаря динамической настройке подхода к обучению на основе результатов, алгоритм оказался адаптивным и более эффективным при обучении сложным задачам.

В смоделированных экспериментах исследователи проверили свой подход, обучая машины навигации по лабиринтам и манипулированию объектами. Алгоритм продемонстрировал почти идеальные показатели успеха и превзошел методы, которые полагались только на имитацию или обучение с подкреплением. Результаты были многообещающими и продемонстрировали потенциал алгоритма для обучения машин сложным сценариям реального мира, таким как навигация роботов в незнакомой среде.

Пулкит Агравал, директор Improbable AI Lab и доцент Лаборатории компьютерных наук и искусственного интеллекта, подчеркнул способность алгоритма решать сложные задачи, с которыми ранее сталкивались другие методы. Исследователи считают, что этот подход может привести к созданию более совершенных роботов, способных манипулировать сложными объектами и самостоятельно передвигаться.

Более того, применение алгоритма не ограничивается робототехникой. Он может повысить эффективность в различных областях, использующих имитацию или обучение с подкреплением. Например, его можно использовать для обучения небольших языковых моделей, используя знания более крупных моделей для конкретных задач. Исследователи также заинтересованы в изучении сходств и различий между машинным обучением и обучением человека от учителей с целью улучшения общего процесса обучения.

Эксперты, не участвовавшие в исследовании, выразили энтузиазм по поводу надежности алгоритма и его обнадеживающих результатов в различных сферах. Они подчеркнули потенциал его применения в областях, связанных с памятью, логическим мышлением и тактильным восприятием. Способность алгоритма использовать предыдущую вычислительную работу и упрощать балансировку целей обучения делает его впечатляющим достижением в области обучения с подкреплением.

По мере продолжения исследований, этот алгоритм может проложить путь к более эффективным и гибким системам машинного обучения, приближая нас к разработке передовых технологий искусственного интеллекта.

Читайте подробнее об исследовании в статье.