Ни один язык не будет забыт

Компания Facebook выложила в открытый доступ проект NLLB (No Language Left Behind). Основной особенностью данной разработки является охват более двухсот языков, включая редкие языки африканских и австралийских народов. Кроме того Facebook применил новый подход к модели машинного обучения, в котором перевод осуществляется напрямую из одного языка на другой, без промежуточного перевода на английский.

В планах данного проекта покрытие всех современных языков, для предоставления средств общения всех людей Земли друг с другом.

Модель распространяется бесплатно (для некоммерческого использования) и для упрощения создания сторонних проектов открыт код, использовавшийся для тестирования оценки и качества моделей, а также код для тренировки моделей. Финальная модель предоставляется в двух вариантах - полном и сокращенном.

Примечательно, что NLLB, является общей моделью для всех 200 языков и не требует никаких дополнительных моделей для каждого языка. Система может автоматически распознать исходный язык и перевести на язык пользователя.

По утверждению команды проекта, система почти в полтора раза превосходит по качеству предыдущие системы перевода, и на семьдесят процентов лучше переводит редкие языки.

Оценить качество перевода, а также ознакомиться с новеллами на редких языках можно по ссылке https://nllb.metademolab.com/