Разработанная Zyphra технология «Тензорный и последовательный параллелизм» (TSP) снижает объем памяти, используемый на один графический процессор, и превосходит по эффективности стандартные схемы параллелизма. TSP сочетает в себе тензорный параллелизм (TP) и последовательный параллелизм (SP) для оптимизации управления памятью в больших трансформерных моделях.
Сдвиг токенизации возникает, когда незначительные изменения форматирования приводят к непредсказуемым изменениям в поведении модели. Пробелы в начале строки приводят к созданию разных идентификаторов токенов, что сказывается на вычислении внимания и производительности модели.
Sakana AI представляет KAME — гибридную модель диалогового искусственного интеллекта, обеспечивающую баланс между скоростью и глубиной для более естественного взаимодействия. KAME сочетает в себе преобразование речи в речь в режиме реального времени с крупномасштабной языковой моделью, что позволяет сократить задержку ответа без ущерба для качества предоставляемой информации.
В настоящее время разработчики уделяют приоритетное внимание подсказкам в больших языковых моделях (LLM) для обеспечения надежности в производственных системах. Пять методов, включая подсказки с учетом конкретной роли и подсказки в формате JSON, позволяют повысить качество результатов без изменения модели.
Mistral AI представляет удаленных агентов в Vibe — платформе-помощнике по программированию, работающей на базе новой плотной модели Mistral Medium 3.5. Эти облачные агенты могут самостоятельно выполнять задачи, повышая производительность и эффективность рабочего процесса при программировании.
Команда Qwen представляет Qwen-Scope — набор решений с открытым исходным кодом, состоящий из разреженных автокодировщиков, обученных на различных семействах моделей, который помогает диагностировать и направлять работу крупных языковых моделей, таких как Qwen3. Используя разреженные автокодировщики для разложения активаций на интерпретируемые концепции, инженеры могут влиять на поведение модел...
Команда RAM из Meta AI решает проблему низкого качества данных с помощью Autodata, демонстрируя более высокую эффективность по сравнению с методами, основанными на синтетических данных. Autodata позволяет ИИ-агентам самостоятельно создавать, оценивать и дорабатывать обучающие данные в рамках итеративного процесса, основанного на обратной связи.
Исследования Оливии Ханикатт, студентки последнего курса Массачусетского технологического института (MIT), посвящены взаимосвязи между человеческим мышлением, изучением языков, технологиями и взаимодействием в социальных группах. Она изучает, как язык формирует наше восприятие мира и самих себя, углубляясь в такие области, как нейролингвистика и искусственный интеллект, в рамках своей работы в...
Исследователи из NVIDIA предлагают интегрировать спекулятивное декодирование в цикл обучения NeMo RL для ускорения генерации роллаутов с сохранением точного распределения выходных значений. Данный метод позволяет значительно уменьшить узкое место при генерации роллаутов, повышая эффективность без ущерба для точности обучения.
Компания Beacon Biosignals, основанная Джейком Донохью (доктор наук, выпускник 2019 года) и бывшим научным сотрудником Массачусетского технологического института Джарреттом Ревелсом, использует технологию ЭЭГ для мониторинга мозговой активности во время сна в домашних условиях. Устройство компании, получившее одобрение Управления по санитарному надзору за качеством пищевых продуктов и медикаме...
Компания Sun Finance в партнерстве с AWS создала конвейер проверки личности на базе искусственного интеллекта, повысив точность до 90,8 % и сократив время обработки с 20 часов до 5 секунд. Решение, объединяющее сервисы Amazon Bedrock, Textract и Rekognition, позволило сократить затраты на 91 % и улучшить эффективность выявления мошенничества.
При линейной регрессии с категориальными предикторами для обучения с использованием замкнутых форм следует применять кодирование «drop-first». Кодирование «drop-first» является предпочтительным вариантом для линейной регрессии с точки зрения интерпретируемости и простоты модели.
Метод «Регулировка с помощью подкрепления» (RFT) усовершенствует крупные языковые модели (LLM) за счет автоматических сигналов вознаграждения, повышая точность и надежность. Использование LLM в качестве «судьи» в рамках RFT обеспечивает контекстную обратную связь, объясняемость и ускоряет итерационный процесс для более эффективной адаптации.
Исследователи из Microsoft Research и Университета Чжэцзяна представляют World-R1 — платформу, которая с помощью методов обучения с подкреплением согласовывает генерацию видео с 3D-ограничениями. World-R1 повышает качество видео за счет извлечения скрытых 3D-знаний без изменения базовой архитектуры и без увеличения затрат на вычисления.
Президент Массачусетского технологического института Салли Корнблут подчеркивает важность фундаментальной науки и ключевую роль университетов в научных исследованиях. Она предупреждает о возможных негативных последствиях для США, если развитие фундаментальной науки окажется под угрозой из-за неопределенности с финансированием.