Маршрутизация в моделях Mixture-of-Experts (MoE) является ключевым компонентом, определяющим, какие эксперты обрабатывают каждый токен. В этом обзоре будут рассмотрены семь стратегий маршрутизации, используемых в производственной среде, начиная с Mixtral с восемью экспертами и заканчивая DeepSeek-V4-Pro с 384. Вариации производительности включают использование функции сигмоиды для оценки и бала...
В контексте регрессионного анализа, простая модель дерева решений может переобучиться на обучающих данных, достигая высокой точности при работе с ними, но демонстрируя плохие результаты при работе с новыми, ранее не виденными данными. Для решения этой проблемы Лео Брейман предложил метод "bagging" для регрессии деревьев, или агрегирование методом бутстрепа, в 1994 году. Этот метод создает ансам...
Ученые из Массачусетского технологического института (MIT), Университета Британской Колумбии (UBC) и других учреждений разработали систему глубокого обучения под названием WorldParticle, которая позволяет ученым и инженерам моделировать различные физические явления с использованием единой унифицированной архитектуры искусственного интеллекта. Система представляет каждый материал в виде мельчайш...
Исследователи из Массачусетского технологического института, под руководством Кристофера Войгта из факультета биоинженерии, возглавят проект стоимостью 53 миллиона долларов, финансируемый Агентством передовых исследовательских проектов в области здравоохранения США (ARPA-H), для разработки гербицидов нового поколения. Современные гербициды, включая глифосат и атразин, имеют важное значение для ...
Новый метод обнаружения молекул с заданными свойствами, разработанный в Массачусетском технологическом институте, использует искусственный интеллект и машинное обучение для предоставления первоначальных рекомендаций о том, какие соединения синтезировать и тестировать. Этот подход, названный CheMeleon, был создан на основе ChemProp и уже показал успех в фармацевтической промышленности, превосход...
В этой статье авторы рассказывают о своем опыте создания системы AWS Quick, которая эволюционировала от простого ответа на вопросы до выполнения действий, и о проблемах, с которыми они столкнулись из-за отсутствия единой терминологии для базовых элементов в работе агентов. Они представляют таксономию работы агентов, основанную на вопросах: Когда, Что, Кто и Как. Триггеры, механизм активации раб...
При развертывании моделей машинного обучения на Amazon SageMaker Inference с использованием графических процессоров, наименьшая доступная единица – это целый ускоритель. Это ограничение влияет на количество моделей, которые можно разместить на одном экземпляре, и требует использования полного графического процессора на старых экземплярах для моделей с меньшими требованиями к ресурсам, или более...
В банковской сфере внутренний AI-ассистент помогает сотруднику с двумя типами запросов информации. Для поиска в списке контрольных вопросов ассистент использует технологию Retrieval Augmented Generation (RAG) от Amazon Bedrock Managed Knowledge Base, что позволяет получить быстрый и однозначный ответ. Для сравнения различных типов организаций – индивидуальных предпринимателей, ООО и партнерств ...
Компания Anthropic объявляет о доступности моделей Claude Fable 5.2 и Claude Mythos 5.2 на платформах Amazon Bedrock и AWS. Модель Fable 5.2 является самой продвинутой моделью от Anthropic для решения технических задач, способной обрабатывать неоднозначные задачи, требующие нескольких этапов в области программирования, математики и науки. Модель Mythos 5.2 доступна для работы в сфере кибербезоп...
Модель NVIDIA Nemotron 3.5 Super VL, представляющая собой модель зрения и языка с 120 миллиардами параметров, использующую гибридную языковую основу и модуль кодирования изображений, теперь доступна в Amazon SageMaker JumpStart. Эта модель принимает на вход изображения, видео и текст, а генерирует текстовый вывод. Она поддерживает контекстные окна длиной до 1 миллиона токенов и включает встроен...
Крис Алексюк, старший инженер по исследованиям продуктов в области глубокого обучения в компании NVIDIA, является сторонником открытого исходного кода в сфере искусственного интеллекта и активно делится своими знаниями на YouTube и LinkedIn. Он считает, что прозрачность необходима для демократизации искусственного интеллекта, и рассматривает проект Nemotron от NVIDIA как наиболее важную инициат...
Автор этого текста выражает свою любовь к написанию кода и делится наблюдением о том, что инженеры, перешедшие из разработки на руководящие должности, часто быстро теряют свои навыки программирования. Он предлагает новый подход, объединяющий квадратичную регрессию (QR) и градиентный бустинг (GBR), путем заключения этих моделей в контейнерный класс. После независимой тренировки, предсказание гиб...
Компания OpenAI обновила свою модель генерации изображений GPT-Image-2.6, доступную через ChatGPT, Codex и API. В этом обновлении представлены модели Flare и Sunburst, которые обеспечивают более быструю генерацию изображений: модель Flare способна генерировать изображения всего за 6 секунд при низком качестве. Обновление включает поддержку вывода в формате GIF, экспорта в SVG, редактирование с ...
Контент A+ от Amazon позволяет брендам передавать уникальные характеристики продукта и его ценность с помощью визуальных элементов на страницах с подробной информацией о товаре. Бренды, использующие качественный контент A+, увеличивают продажи на 8-20 процентов. Несмотря на непостоянное качество, типичный проект контента A+ объединяет текст, изображения и видео в единую историю продукта. Оценка...
Ученые из Массачусетского технологического института разработали новую систему памяти для роботов, которая может определять и исправлять неверные метки объектов в своей памяти. Эта система, названная UQ-DAAAM, использует несколько описаний одного и того же объекта с разных точек зрения для оценки неопределенности робота и повышения точности его описаний. UQ-DAAAM сравнивает эти описания для уме...