Новое исследование сочетает в себе рекуррентные нейронные сети (RNN) с концепцией отжига для решения реальных проблем оптимизации
Задачи оптимизации включают определение наиболее оптимального ответа из множества вариантов, которые часто можно увидеть как в реальных ситуациях, так и в большинстве областей научных исследований. Однако многие сложные проблемы не могут быть решены простыми вычислительными методами или требуют больших затрат времени.
Поскольку простые алгоритмы неэффективны для решения этих проблем, эксперты по всему миру стараются разработать более эффективные стратегии, которые могут решить их в реалистичные сроки. Искусственные нейронные сети (ANN) лежат в основе некоторых наиболее перспективных методов, изученных на данный момент.
Новое исследование, проведенное Институтом Вектора (Vector Institute), Университетом Ватерлоо, и канадским институтом теоретической физики Perimeter представляют вариационный нейронный отжиг. Этот новый метод оптимизации сочетает в себе рекуррентные нейронные сети (RNN) с понятием отжига. Используя параметризованную модель, этот инновационный метод обобщает распределение возможных решений конкретной проблемы. Его цель заключается в том, чтобы решить реальные проблемы оптимизации с использованием нового алгоритма, основанного на теории отжига и рекуррентных сетях, применяемых в обработке естественного языка (NLP).
Предлагаемая схема основана на принципе отжига, вдохновлённая металлургическим отжигом, который заключается в нагревании материала и его медленном охлаждении, чтобы довести его до более эластичного и стабильного состояния с более низкой энергией. Имитация отжига была разработана на основе этого процесса, для возможности найти численное решение проблемы оптимизации.
Наибольшая отличительная черта этого метода оптимизации состоит в том, что он сочетает в себе эффективность и производительность нейросетей с преимуществами методов моделирования отжига. Команда использовала алгоритм RNN, который оказался особенно перспективным для применения в NLP. Хотя эти алгоритмы обычно используются для интерпретации человеческого языка в исследованиях NLP, исследователи использовали их для решения задач оптимизации.
По сравнению с более традиционными реализациями (численные методы) отжига, их метод на основе RNN позволил получить лучшие решения, повысив эффективность как классических, так и квантовых процедур отжига. С помощью авторегрессионных сетей исследователи смогли закодировать парадигму отжига. Их стратегия выводит решение задач оптимизации на новый уровень, напрямую используя инфраструктуры, применяемые для обучения современных нейронных сетей, таких как TensorFlow или (Pytorch, с ускорением как на GPU, так и на TPU.
Команда провела несколько тестов, чтобы сравнить производительность метода с традиционными методами оптимизации отжига, основанными на численном моделировании. Во многих случаях по задачам оптимизации предложенный подход превзошел все методы.
В будущем этот алгоритм можно будет использовать для решения широкого круга реальных задач оптимизации, что позволит экспертам в различных областях быстрее решать проблемы.
В дальнейшем исследователи хотели бы оценить производительность своего алгоритма на более реалистичных задачах, а также сравнить его с производительностью существующих методов оптимизации. Они также намерены улучшить свою методику, заменив некоторые компоненты или добавив новые.
Целиком статью можно просмотреть здесь.
Также есть код на Github:
Variational Neural Annealing
Simulated Classical and Quantum Annealing