AutoMem навчає ШІ справді запам’ятовувати
У міру того як ШІ-агенти беруть на себе дедалі складніші та триваліші завдання, одна проблема продовжує обмежувати їхні можливості – пам’ять. Хоча сучасні великі мовні моделі здатні працювати з величезними обсягами контексту, їм усе ще складно визначати, яку інформацію варто зберігати, коли її потрібно відновлювати та як ефективно організовувати знання з плином часу.
Дослідники зі Стенфордського університету опублікували нове дослідження “AutoMem: Автоматичне навчання пам’яті як когнітивної навички” (AutoMem: Automated Learning of Memory as a Cognitive Skill). Це новий фреймворк, який переосмислює керування пам’яттю як навичку, яку можна опанувати, а не як статичний компонент системи штучного інтелекту. Замість того щоб покладатися на заздалегідь визначені архітектури пам’яті або постійно збільшувати контекстне вікно, AutoMem навчає мовні моделі самостійно розробляти ефективніші стратегії роботи з пам’яттю.
Ключова ідея AutoMem базується на концепції метапам’яті (metamemory) – здатності людини усвідомлено керувати власною пам’яттю. Замість того щоб розглядати пам’ять як пасивне сховище інформації, фреймворк дозволяє AI-агенту самостійно вирішувати:
- яку інформацію потрібно зберегти;
- коли слід звернутися до вже накопичених знань;
- як організувати пам’ять;
- коли оновити або видалити застарілі дані.
Для цього такі операції з пам’яттю, як читання, запис, пошук і додавання інформації, стають повноцінними діями нарівні зі звичайними завданнями агента. Це дозволяє моделі взаємодіяти із зовнішньою пам’яттю так само, як і з навколишнім середовищем.
AutoMem навчається за допомогою двох взаємодоповнюючих циклів оптимізації.
Перший цикл відповідає за оптимізацію структури пам’яті. Потужніша мовна модель аналізує повні траєкторії виконання завдань і автоматично вдосконалює систему пам’яті агента, змінюючи промпти, структуру файлів, схеми та набір доступних операцій. Оскільки виконання довготривалих завдань може включати тисячі кроків, такий підхід позбавляє необхідності вручну аналізувати величезні обсяги взаємодій.
Другий цикл покращує навички керування пам’яттю. Вдалі рішення, які агент приймає під час роботи з пам’яттю, збираються з багатьох епізодів і використовуються як навчальні сигнали. Це дозволяє моделі поступово вдосконалювати власні стратегії роботи з пам’яттю, не змінюючи основного алгоритму виконання завдань.
Одним із найцікавіших результатів дослідження стало те, що оптимізація лише системи пам’яті суттєво підвищує загальну ефективність агента.
Під час тестування у трьох процедурно згенерованих середовищах із довготривалими завданнями: Crafter, MiniHack і NetHack – AutoMem підвищив продуктивність базового агента приблизно у 2-4 рази, не змінюючи його політику виконання дій. Дослідники також повідомляють, що за цими тестами відкрита модель Qwen2.5-32B змогла наблизитися за результатами до передових пропрієтарних систем, таких як Claude Opus 4.5 та Gemini 3.1 Pro Thinking.
Ці результати свідчать, що керування пам’яттю є окремою навичкою, яку можна розвивати незалежно від здібностей моделі до міркування, планування чи використання інструментів.
Останні досягнення у сфері ШІ-агентів здебільшого були пов’язані зі збільшенням контекстного вікна або вдосконаленні генерації з доповненим пошуком (RAG). AutoMem пропонує інший підхід: замість того щоб просто надавати моделям доступ до більшої кількості інформації, навчити їх ефективніше керувати власною пам’яттю.
Такий підхід може виявитися особливо корисним для AI-агентів, які працюють протягом тривалого часу, накопичують знання між сесіями, взаємодіють із користувачами або виконують складні багатокрокові процеси, де важлива інформація може бути розділена сотнями чи навіть тисячами взаємодій.
Якщо ця концепція підтвердить свою ефективність за межами дослідницьких бенчмарків, оптимізація пам’яті може стати однією з ключових можливостей майбутніх агентів штучного інтелекту нарівні з логічним мисленням і плануванням.
Замість того щоб запитувати, скільки інформації може запам’ятати система штучного інтелекту, AutoMem ставить значно цікавіше питання: чи може ШІ навчитися запам’ятовувати краще? Перші результати свідчать, що відповідь цілком може бути ствердною.