NVIDIA Cosmos – секретна зброя робототехніки
Компанія NVIDIA представила NVIDIA Cosmos – інноваційну платформу, створену для прискорення розробки фізичного штучного інтелекту, який використовується в роботах, автономних транспортних засобах (AV) та інших автоматизованих системах. Завдяки World Foundation Models (WFM), новаторським інструментам для обробки відео та управління даними, платформа Cosmos дозволяє розробникам створювати, навчати та оптимізувати ШI-моделі швидше та ефективніше, ніж будь-коли раніше.
Розробка фізичного штучного інтелекту, як правило, вимагала величезних обсягів реальних даних, що робило цей процес високовартісним і трудомістким. NVIDIA Cosmos вирішує цю проблему, впроваджуючи генерацію синтетичних даних на основі законів фізики. Це дозволяє створювати фотореалістичні 3D-середовища, що імітують реальний світ. Такі змодельовані середовища допомагають навчати моделі ШІ, не покладаючись повністю на складний та затратний процес збору даних.
За словами розробників, WFMs відіграють таку ж важливу роль для розвитку фізичного ШI, як великі мовні моделі (LLM) у сфері обробки природної мови. WFM використовує текст, зображення, відео та сенсорні дані, щоб відтворювати взаємодію ШI із реальним світом, що робить їх незамінними для розвитку робототехніки та автономних систем.
Cosmos включає передові ШI-інструменти для розробки роботів і AV-систем:
- Генерація синтетичних даних – розробники можуть створювати реалістичні відеосимуляції промислових і дорожніх умов, зменшуючи залежність від збору реальних даних.
- Пошук і аналіз відео – AI-алгоритми допомагають швидко знаходити необхідні навчальні сценарії, наприклад, небезпечні дорожні умови або складні виробничі процеси.
- Прогнозування сценаріїв і симуляція "мультивсесвіту" – Cosmos дозволяє моделювати різні можливі сценарії розвитку подій, допомагаючи ШI передбачити найкращий план дій.
- Покращена обробка даних – NVIDIA NeMo Curator прискорює аналіз масивів відеоданих, оптимізуючи процес навчання ШI.
Платформа Cosmos також оснащена візуальним токенізатором, який стискає та обробляє відеодані у 12 разів швидше, ніж існуючі методи, що полегшує перетворення відеозаписів у придатні для використання навчальні набори даних.
Вже кілька провідних компаній інтегрували Cosmos у свої AI-процеси. Серед них: XPENG, Agility Robotics, Figure AI та Wayve, які використовують Cosmos для розробки автономного транспорту та людиноподібних роботів. Компанія Waabi, яка спеціалізується на AI для автономного водіння, застосовує Cosmos для аналізу даних та моделювання AV-систем. Uber також співпрацює з NVIDIA, щоб прискорити розвиток автономних транспортних рішень.
З огляду на поширення AI-контенту, NVIDIA розробила Cosmos з етичними запобіжниками. Платформа використовує фільтри безпеки для запобігання генерації шкідливого або недостовірного контенту. Також використовуються невидимі водяні знаки для розпізнавання відео, згенерованих штучним інтелектом. Cosmos функціонує відповідно до глобальних ініціатив з безпеки AI, включаючи добровільні зобов’язання Білого дому щодо етичного використання штучного інтелекту.
Платформа NVIDIA Cosmos доступна за ліцензією відкритої моделі на Hugging Face і в каталозі NVIDIA NGC. Фізичний штучний інтелект вже трансформує виробництво, логістику та транспорт, і NVIDIA Cosmos відіграє ключову роль у створенні масштабованих, ефективних і доступних AI-рішень для робототехніки та автономних технологій.
Дізнайтеся більше про платформу Cosmos World Foundation Model Platform for Physical AIв статті, опублікованій на arXiv.