MPT-7B: новая большая языковая модель с открытым исходным кодом

Большие языковые модели (LLM) – это мощные инструменты, которые могут генерировать текст, отвечать на вопросы и выполнять другие задачи. Большинство существующих LLM либо не имеют открытого исходного кода, либо не могут быть использованы в коммерческих целях, либо не обучены на достаточном объеме данных. Однако это скоро изменится.

MPT-7B от MosaicML знаменует собой важный шаг для разработки больших языковых моделей с открытым исходным кодом. Созданная с учетом последних инноваций и показателей эффективности, модель MPT-7B устанавливает новый стандарт использования LLM, предлагая непревзойденное качество и универсальность.

Обученная с нуля при использовании впечатляющего набора данных – 1 триллион токенов текста и кода, MPT-7B выделяется среди других больших языковых моделей. В отличие от своих предшественников, которые часто требовали значительных ресурсов и опыта для обучения и развертывания, MPT-7B разработана с открытым исходным кодом и может использоваться в коммерческих целях. Это дает возможность бизнесу и сообществу разработчиков технологий с открытым кодом использовать все ее возможности.

Одной из ключевых особенностей, которая выделяет MPT-7B, является ее архитектура и усовершенствованный алгоритм оптимизации. Благодаря использованию ALiBi вместо позиционных встраиваний и оптимизатора Lion, MPT-7B достигает заметной стабильности показателей сходимости, даже в случае аппаратных сбоев. Это обеспечивает непрерывное обучение, значительно уменьшает потребность во вмешательстве человека и оптимизирует процесс разработки модели.

С точки зрения производительности MPT-7B отличается улучшенными слоями нейронной сети, включая FlashAttention и низко прецизионный layernorm. Эти совершенствования позволяют MPT-7B обеспечивать формирование быстрых выводов, превосходя другие модели своего класса почти вдвое. Независимо от того, генерирует модель выходные данные с помощью стандартных технологических процессов – пайплайна (pipelines), или разворачивает собственные решения для вывода, MPT-7B предлагает непревзойденную скорость и эффективность.

Развертывание модели MPT-7B происходит без проблем благодаря ее совместимости с экосистемой HuggingFace. Пользователи могут легко интегрировать MPT-7B в свои существующие рабочие процессы, используя стандартный пайплайн и инструменты развертывания. Кроме того, служба Inference от MosaicML предоставляет управляемые конечные точки для MPT-7B, обеспечивая оптимальную стоимость и конфиденциальность данных для развертывания хостинга.

Модель MPT-7B была оценена с помощью различных показателей и признана соответствующей высоким стандартам качества, установленным LLaMA-7B. MPT-7B также было доработано для выполнения различных задач на разных доменах и выпущено в трех вариациях:

• MPT-7B-Instruct – модель для выполнения инструкций, таких как обобщение и генерация ответов на вопросы.
• MPT-7B-Chat – модель для создания диалогов, например чат-ботов и разговорных агентов.
• MPT-7B-StoryWriter-65k+ – модель для написания историй, с длиной контекста 65 тыс. токенов.

Вы можете получить доступ к этим моделям на HuggingFace или на платформе MosaicML platform, где вы сможете обучать, настраивать и развертывать собственные модели MPT.

Выпуск MPT-7B знаменует собой новую главу в эволюции больших языковых моделей. Компании и разработчики теперь имеют возможность использовать передовые технологии для внедрения инноваций и решения сложных задач в широком диапазоне отраслей. Поскольку MPT-7B прокладывает путь для следующего поколения LLM, мы с нетерпением ждем результаты ее трансформационного влияния на сферу искусственного интеллекта.