
NVIDIA Cosmos – секретное оружие робототехники
Компания NVIDIA представила NVIDIA Cosmos – инновационную платформу, предназначенную для ускорения разработки физического искусственного интеллекта, который используется в роботах, автономных транспортных средствах (AV) и других автоматизированных системах. Благодаря World Foundation Models (WFM), новаторским инструментам для обработки видео и управления данным, платформа Cosmos позволяет разработчикам создавать, обучать и оптимизировать ИИ-модели быстрее и эффективнее, чем когда-либо ранее.
Разработка физического искусственного интеллекта, как правило, требовала огромных объемов реальных данных, что делало этот процесс дорогостоящим и трудоемким. NVIDIA Cosmos решает эту проблему, внедряя генерацию синтетических данных на основе законов физики. Это позволяет создавать фотореалистичное 3D-окружение, имитирующие реальный мир. Такие смоделированные среды помогают обучать модели ИИ, не полагаясь полностью на сложный и затратный процесс сбора данных.
По словам разработчиков, WFMs играют такую же важную роль в развитии физического ИИ, как большие языковые модели (LLM) в сфере обработки естественного языка. WFM использует текст, изображения, видео и сенсорные данные для воспроизведения взаимодействия ИИ с реальным миром, что делает их незаменимыми для развития робототехники и автономных систем.
Cosmos включает в себя передовые АI-инструменты для разработки роботов и AV-систем:
- Генерация синтетических данных – разработчики могут создавать реалистичные видеосимуляции промышленных и дорожных условий, уменьшая зависимость от сбора реальных данных.
- Поиск и анализ видео – AI-алгоритмы помогают быстро находить необходимые обучающие сценарии, например, опасные дорожные условия или сложные производственные процессы.
- Прогнозирование сценариев и симуляция "мультивселенной" – Cosmos позволяет моделировать различные возможные сценарии развития событий, помогая ИИ предсказать наилучший план действий.
- Улучшенная обработка данных – NVIDIA NeMo Curator ускоряет анализ массивов видеоданных, оптимизируя процесс обучения ИИ.
Cosmos также оснащен визуальным токенизатором, который сжимает и обрабатывает видеоданные в 12 раз быстрее, чем существующие методы, что облегчает преобразование видеозаписей в пригодные для обучения наборы данных.
Уже несколько ведущих компаний интегрировали Cosmos в свои процессы AI. Среди них: XPENG, Agility Robotics, Figure AI и Wayve, которые используют Cosmos для разработки автономного транспорта и человекоподобных роботов. Компания Waabi, специализирующаяся на ИИ для автономного вождения, применяет Cosmos для анализа данных и моделирования AV-систем. Uber также сотрудничает с NVIDIA для ускорения развития автономных транспортных решений.
Учитывая распространение AI-контента, NVIDIA разработала Cosmos с надежными этическими мерами безопасности. Платформа использует фильтры безопасности для предотвращения генерации вредоносного или недостоверного контента. Также используются невидимые водяные знаки для распознавания видео, созданных с помощью ИИ. Cosmos функционирует в соответствии с глобальными инициативами по безопасности ИИ, включая добровольные обязательства Белого дома по этическому использованию искусственного интеллекта.
Платформа NVIDIA Cosmos доступна по лицензии открытой модели на Hugging Face и в каталоге NVIDIA NGC. Физический искусственный интеллект уже трансформирует производство, логистику и транспорт, и NVIDIA Cosmos сыграет ключевую роль в создании масштабируемых, эффективных и доступных AI-решений для робототехники и автономных технологий.
Узнайте больше о платформе Cosmos World Foundation Model Platform for Physical AI в статье, опубликованной на arXiv.