Маршрутизація в моделях Mixture-of-Experts (MoE) є важливим компонентом, який визначає, які саме "експерти" обробляють кожен токен. Цей огляд охоплюватиме сім стратегій маршрутизації, що використовуються у виробничих системах, від Mixtral з вісьмома експертами до DeepSeek-V4-Pro з 384. Варіації в продуктивності включають метод оцінювання Sigmoid та балансування навантаження між експертами, що в...
У контексті регресійного аналізу, проста модель дерева рішень може перенавчитися на тренувальних даних, досягаючи високої точності на них, але демонструючи низьку продуктивність на нових, невідомих даних. Для вирішення цієї проблеми, Лео Брейман запропонував метод "bagging" для регресії з використанням дерев рішень, або "bootstrap aggregation", у 1994 році. Цей метод створює ансамбль із багатьо...
Дослідники з MIT, UBC та інших установ розробили систему глибокого навчання під назвою WorldParticle, яка дозволяє науковцям і інженерам моделювати різні фізичні явища за допомогою єдиної уніфікованої архітектури штучного інтелекту. Система представляє кожен матеріал у вигляді крихітних частинок і прогнозує їх рух крок за кроком, адаптуючись до матеріалів, сил та середовищ, з якими вона не стик...
Дослідники з Массачусетського технологічного інституту (MIT), під керівництвом Крістофера Войгта з кафедри біоінженерії, очолять проєкт вартістю 53 мільйони доларів США, який фінансується Агентством передових дослідницьких проєктів у сфері охорони здоров'я (ARPA-H) для розробки гербіцидів нового покоління. Сучасні гербіциди, включаючи гліфосат і атразин, є важливими для сільського господарства ...
Новий метод відкриття нових молекул з певними властивостями, розроблений в MIT, використовує штучний інтелект та машинне навчання для надання початкових рекомендацій щодо того, які сполуки синтезувати та тестувати. Цей підхід, названий CheMeleon, був створений на основі ChemProp і вже показав успіх у фармацевтичній промисловості, перевершуючи інші існуючі методи в областях, де дані про певні те...
У цій статті автори розповідають про свій досвід створення AWS Quick – системи, яка еволюціонувала від простого відповідання на запитання до виконання дій. Вони також описують проблеми, з якими зіткнулися через відсутність загальної термінології для базових елементів у агентній роботі. Автори пропонують класифікацію агентної роботи, засновану на питаннях: Коли, Що, Хто та Як. Тригери, механізм ...
При розгортанні моделей машинного навчання на платформі Amazon SageMaker Inference з використанням графічних процесорів (GPU), найменша доступна одиниця – це цілий прискорювач. Це обмеження обмежує кількість моделей, які можна розмістити на одному сервері, і вимагає використання повного GPU на старому сервері для моделей з меншими вимогами до ресурсів, або нового сервера з надлишковою потужніст...
Внутрішній AI-асистент у контексті банківських операцій допомагає співробітнику з двома різними типами інформаційних запитів. Для перегляду контрольних списків асистент використовує технологію Retrieval Augmented Generation (RAG) від Amazon Bedrock Managed Knowledge Base, що дозволяє отримати швидку та однозначну відповідь. Для порівняння різних видів підприємств – індивідуальних підприємців, т...
Компанія Anthropic оголошує про доступність моделей Claude Fable 5.2 та Claude Mythos 5.2 на платформах Amazon Bedrock та AWS. Модель Fable 5.2 є найсучаснішою моделлю від Anthropic, призначеною для технічних завдань, яка здатна вирішувати складні, багатоетапні проблеми в програмуванні, математиці та науці. Модель Mythos 5.2 доступна для використання у сфері кібербезпеки та біологічних наук чер...
Модель NVIDIA Nemotron 3.5 Super VL, модель зорового та текстового аналізу з 120 мільярдами параметрів, що має гібридну текстову основу та модуль обробки зображень, тепер доступна в Amazon SageMaker JumpStart. Ця модель приймає на вхід зображення, відео та текст, а також генерує текст. Вона підтримує контекстні вікна довжиною до 1 мільйона токенів і включає вбудований модуль Multi-Token Predict...
Кріс Алексюк, старший інженер з дослідження продуктів у галузі глибокого навчання в компанії NVIDIA, є прихильником відкритого вихідного коду в штучному інтелекті та відкрито ділиться своїми знаннями на YouTube та LinkedIn. Він вважає, що прозорість є ключовою для демократизації інтелекту, і розглядає проєкт NVIDIA Nemotron як найважливішу ініціативу у сфері відкритого вихідного коду в штучному...
Автор цього тексту висловлює свою радість від щоденного написання коду та зазначає, що колеги-інженери, які перейшли з ролі програмістів на управлінські посади, часто швидко втрачають свої навички програмування. Автор пропонує новий підхід до поєднання квадратичної регресії (QR) і градієнтного бустингу (GBR), об'єднуючи ці моделі в клас-контейнер. Після незалежного навчання, передбачення гібрид...
OpenAI оновила свою модель генерації зображень GPT-Image-2.6, доступну через ChatGPT, Codex та API. Ця версія включає моделі Flare і Sunburst, які забезпечують швидшу генерацію зображень: Flare може генерувати зображення вже за 6 секунд при низькій якості. Оновлення також додає підтримку виводу GIF-файлів, експорту у форматі SVG, редагування з використанням розмітки та новий параметр складності...
Контент формату A+ від Amazon дозволяє брендам передавати унікальну інформацію про продукт та його цінність за допомогою візуальних елементів на сторінках з детальною інформацією про товар. Бренди, які використовують контент високої якості формату A+, збільшують обсяги продажів на 8-20 відсотків. Незважаючи на нерівномірну якість, типовий проєкт контенту формату A+ поєднує текст, зображення та ...
Дослідники з Массачусетського технологічного інституту розробили нову систему пам’яті для роботів, яка може ідентифікувати та виправляти неправильні позначення об'єктів у їхній пам'яті. Система, названа UQ-DAAAM, використовує декілька описів одного й того ж об'єкта з різних точок зору для оцінки невизначеності робота та підвищення точності його описів. UQ-DAAAM порівнює ці описи для зменшення н...