Разработанная Zyphra технология «Тензорный и последовательный параллелизм» (TSP) снижает объем памяти, используемый на один графический процессор, и превосходит по эффективности стандартные схемы параллелизма. TSP сочетает в себе тензорный параллелизм (TP) и последовательный параллелизм (SP) для оптимизации управления памятью в больших трансформерных моделях.
Машинное обучение предлагает различные методы обучения линейных моделей, такие как стохастический градиентный спуск и алгоритмы псевдообратной матрицы, например, метод «ослабленного» Мура-Пенроуза и метод левой псевдообратной матрицы через нормальные уравнения. Метод разложения Холески для левой псевдообратной матрицы проще, но может быть уязвим при плохом
В настоящее время разработчики уделяют приоритетное внимание подсказкам в больших языковых моделях (LLM) для обеспечения надежности в производственных системах. Пять методов, включая подсказки с учетом конкретной роли и подсказки в формате JSON, позволяют повысить качество результатов без изменения модели.
Сдвиг токенизации возникает, когда незначительные изменения форматирования приводят к непредсказуемым изменениям в поведении модели. Пробелы в начале строки приводят к созданию разных идентификаторов токенов, что сказывается на вычислении внимания и производительности модели.
Sakana AI представляет KAME — гибридную модель диалогового искусственного интеллекта, обеспечивающую баланс между скоростью и глубиной для более естественного взаимодействия. KAME сочетает в себе преобразование речи в речь в режиме реального времени с крупномасштабной языковой моделью, что позволяет сократить задержку ответа без ущерба для качества предоставляемой информации.
Mistral AI представляет удаленных агентов в Vibe — платформе-помощнике по программированию, работающей на базе новой плотной модели Mistral Medium 3.5. Эти облачные агенты могут самостоятельно выполнять задачи, повышая производительность и эффективность рабочего процесса при программировании.
Исследователи из NVIDIA предлагают интегрировать спекулятивное декодирование в цикл обучения NeMo RL для ускорения генерации роллаутов с сохранением точного распределения выходных значений. Данный метод позволяет значительно уменьшить узкое место при генерации роллаутов, повышая эффективность без ущерба для точности обучения.
Исследования Оливии Ханикатт, студентки последнего курса Массачусетского технологического института (MIT), посвящены взаимосвязи между человеческим мышлением, изучением языков, технологиями и взаимодействием в социальных группах. Она изучает, как язык формирует наше восприятие мира и самих себя, углубляясь в такие области, как нейролингвистика и искусственный интеллект, в рамках своей работы в...
Команда Qwen представляет Qwen-Scope — набор решений с открытым исходным кодом, состоящий из разреженных автокодировщиков, обученных на различных семействах моделей, который помогает диагностировать и направлять работу крупных языковых моделей, таких как Qwen3. Используя разреженные автокодировщики для разложения активаций на интерпретируемые концепции, инженеры могут влиять на поведение модел...
Команда RAM из Meta AI решает проблему низкого качества данных с помощью Autodata, демонстрируя более высокую эффективность по сравнению с методами, основанными на синтетических данных. Autodata позволяет ИИ-агентам самостоятельно создавать, оценивать и дорабатывать обучающие данные в рамках итеративного процесса, основанного на обратной связи.
Компания Beacon Biosignals, основанная Джейком Донохью (доктор наук, выпускник 2019 года) и бывшим научным сотрудником Массачусетского технологического института Джарреттом Ревелсом, использует технологию ЭЭГ для мониторинга мозговой активности во время сна в домашних условиях. Устройство компании, получившее одобрение Управления по санитарному надзору за качеством пищевых продуктов и медикаме...
Метод «Регулировка с помощью подкрепления» (RFT) усовершенствует крупные языковые модели (LLM) за счет автоматических сигналов вознаграждения, повышая точность и надежность. Использование LLM в качестве «судьи» в рамках RFT обеспечивает контекстную обратную связь, объясняемость и ускоряет итерационный процесс для более эффективной адаптации.
Компания Sun Finance в партнерстве с AWS создала конвейер проверки личности на базе искусственного интеллекта, повысив точность до 90,8 % и сократив время обработки с 20 часов до 5 секунд. Решение, объединяющее сервисы Amazon Bedrock, Textract и Rekognition, позволило сократить затраты на 91 % и улучшить эффективность выявления мошенничества.
Cursor делает программирование с помощью ИИ доступным для всех благодаря своему SDK, позволяющему разработчикам программно интегрировать в свои системы мощные агенты-программисты. Этот SDK использует ту же среду выполнения и инфраструктуру, что и собственные продукты Cursor, что упрощает процесс создания и обслуживания агентов-программистов.
Исследователи из Microsoft Research и Университета Чжэцзяна представляют World-R1 — платформу, которая с помощью методов обучения с подкреплением согласовывает генерацию видео с 3D-ограничениями. World-R1 повышает качество видео за счет извлечения скрытых 3D-знаний без изменения базовой архитектуры и без увеличения затрат на вычисления.