Практика построения механизма обслуживания ИИ

ИИ, предлагающие движки, просматривают и анализируют информацию в базе знаний, занимаются развертыванием дизайна и отображением производительности. Они представляют собой совершенно новый мир, в котором приложения будут иметь возможность использовать инновации ИИ для повышения операционной эффективности, а также для решения существенных проблем обслуживания.

Идеальные Практики

Я имел дело с клиентами Redis Labs, чтобы гораздо лучше понять их препятствия на пути внедрения ИИ в производство, а также то, как им нужно проектировать свои механизмы предложения ИИ. Чтобы помочь, мы создали список лучших методов:

Быстрая сквозная подача

Если вы поддерживаете приложения реального времени, вам нужно убедиться, что добавление возможностей искусственного интеллекта в вашу кучу, безусловно, практически не повлияет на производительность приложений.

Никаких простоев

Поскольку каждая сделка потенциально включает в себя некоторую обработку ИИ, вам необходимо поддерживать регулярную стандартный SLA, предпочтительно минимум пять девяток (99,999%) для критически важных приложений, с использованием проверенных механизмов, таких как дублирование, настойчивость данных, многозонная зона/стойка, Активная гео - циркуляция, регулярные резервные копии и автокластерная рекуперация.

Масштабируемость

Движимые действиями клиентов, многочисленные приложения создаются для обслуживания пиковых случаев использования, от Черной пятницы до большой игры. Вам требуется универсальность для масштабирования или масштабирования в двигателе предложения AI, основанном на ваших ожидаемых и существующих тоннах.

Помощь для многочисленных систем

Ваш обслуживающий механизм ИИ должен иметь возможность обслуживать модели глубокого обучения, обученные передовыми системами, такими как TensorFlow или PyTorch. Кроме того, проекты машинного обучения, такие как случайный лес, а также линейная регрессия, по-прежнему обеспечивают хорошую предсказуемость для многочисленных экземпляров использования, а также должны поддерживаться вашим механизмом предложения ИИ.

Легко развертываемые совершенно новые модели

Большинство фирм хотят иметь альтернативу частому обновлению своих версий в соответствии с рыночными тенденциями или манипулированию совершенно новыми возможностями. Обновление версии должно быть максимально прозрачным и не должно влиять на эффективность приложения.

Мониторинг эффективности и переподготовка кадров

Каждый человек должен знать, насколько хорошо работает модель, которую он получил, а также уметь настраивать ее в соответствии с тем, насколько хорошо она работает в реальной жизни. Обязательно требуйте, чтобы ИИ, предлагающий движок, поддерживал A/B-тестирование, чтобы сравнить версию с моделью по умолчанию. Система также должна предоставлять инструменты для ранжирования реализации ИИ ваших приложений.

Разработка

В большинстве случаев лучше всего разрабатывать и изучать облако, а также иметь возможность предлагать его в любом месте, например: в облаке поставщика, в многочисленных облаках, локально, в гибридных облаках или на краю. Обслуживающий ИИ движок должен быть платформенным агностиком, основанным на инновациях открытых ресурсов, и иметь широко известный дизайн выпуска, который может работать на процессорах, продвинутых графических процессорах, мощных двигателях, а также даже на устройстве Raspberry Pi.