ИИ обзавелся неограниченной памятью
По мере того как модели искусственного интеллекта становятся более крупными и сложными, все труднее игнорировать одну из главных проблем – ограничения памяти. Несмотря на то, что графические процессоры (GPU) становятся быстрее и мощнее, масштабные системы ИИ часто сталкиваются с так называемой “стеной памяти” – узким местом, при котором недостаточный объем памяти резко снижает вычислительную эффективность.
Исследователи из Южной Кореи предложили перспективное решение этой проблемы.
Институт электроники и телекоммуникационных исследований (ETRI) представил OmniXtend – технологию расширения памяти на основе Ethernet. Это решение призвано устранить дефицит памяти в среде масштабного обучения искусственного интеллекта и может значительно улучшить масштабируемость, экономическую эффективность и производительность будущей инфраструктуры ИИ.
Стремительное распространение больших языковых моделей (LLMs), генеративного ИИ и высокопроизводительных вычислений резко увеличило потребности в памяти. Традиционные архитектуры серверов жестко привязывают память к отдельным устройствам, что создает серьезные ограничения для масштабирования.
OmniXtend предлагает принципиально иной подход. Вместо использования только локально подключенной памяти система применяет стандартные Ethernet-сети как среду межпроцессорного соединения памяти. Это позволяет динамически объединять и совместно использовать ресурсы памяти между серверами и ускорителями, формируя единый масштабируемый “пул памяти”, доступ к которому осуществляется в режиме реального времени.
На практике это означает, что распределенные ресурсы памяти в пределах всей сети могут функционировать как единая целостная и масштабируемая система.
Традиционные системы высокопроизводительных вычислений обычно полагаются на скоростные последовательные интерфейсы, такие как PCIe. Хотя они эффективны для небольших конфигураций, такие архитектуры имеют ограничения по масштабируемости, дальности подключения и гибкости развертывания.
В отличие от этого, OmniXtend использует существующую инфраструктуру Ethernet и стандартные Ethernet-коммутаторы для объединения нескольких физически распределенных устройств в среду с общей памятью.
Основные преимущества технологии:
- сокращение задержек при передаче данных в процессе обучения ИИ-моделей;
- расширение объема памяти без необходимости замены существующих серверов;
- снижение затрат на развертывание и эксплуатацию дата-центров;
- улучшенная масштабируемость для гипермасштабных систем ИИ.
Благодаря сокращению количества узких мест, связанных с памятью, технология позволяет системам ИИ поддерживать более высокий уровень производительности даже в сложных условиях работы.
Для проверки архитектуры ETRI разработал несколько ключевых компонентов, включая:
- узел расширения памяти на базе программируемой матрицы логических элементов;
- механизм передачи памяти через Ethernet;
- масштабируемую систему управления общей памятью.
Команда успешно продемонстрировала работу нескольких устройств в Ethernet-среде с доступом к ресурсам общей памяти в режиме реального времени.
Во время тестов с использованием больших языковых моделей исследователи зафиксировали значительное снижение производительности LLM при недостаточном объеме памяти. Однако после активации расширения памяти через Ethernet производительность выросла более чем в два раза. По данным ETRI, это подтверждает, что архитектуры общей памяти способны обеспечивать уровень обработки данных, сопоставимый с системами, имеющими достаточный локальный объем памяти.
ETRI планирует коммерциализировать OmniXtend через партнерство с компаниями, занимающимися аппаратным и программным обеспечением для центров обработки данных. Потенциальные сферы применения включают серверы для обучения и инференса ИИ, устройства расширения памяти и высокопроизводительные сетевые коммутаторы. Институт также планирует адаптировать технологию для высоконадежных встроенных систем, в частности автомобильных платформ и морских приложений.