Azure предоставляет эксклюзивную платформу для использования службы OpenAI непосредственно из их Cognitive Service Platform. Пользователи могут получить доступ к службе через REST API, Python SDK или веб-интерфейс (снимок экрана ниже) в Azure OpenAI Studio. Для других локальных или облачных платформ потребуется развернуть скрипт с использованием их SDK, который будет вызывать службы OpenAI API.

Ниже перечислены функции, доступные в сервисе:

Что касается доступных моделей, отметим, что GPT 3.5 Turbo в настоящее время недоступен в службе Azure Open AI. Все другие модели Open AI доступны для использования с добавлением всех других функций, предоставляемых когнитивной службой, таких как виртуальные частные сети, службы управляемой идентификации и частные конечные точки.

Региональная доступность службы Azure на данный момент ограничена и должна увеличиться в будущем. Из приведенной выше таблицы видно, что тонкая настройка для моделей Davinci и Cushman доступна только в южно-центральном регионе США. Эти региональные ограничения могут создать проблемы GDPR, если компания хочет хранить свои данные локально. Однако, поскольку для большинства общих бизнес-сценариев тонкая настройка может не потребоваться, Azure предоставляет регион Западной Европы для предприятий, расположенных за пределами Европы.

Сервисная студия Azure OpenAI

Azure выпустила студию OpenAI Service, которая позволяет вам делать следующее:

  • Поэкспериментируйте с оперативными завершениями, используя собственную версию Площадки.
  • Настройте модель с тонкой настройкой.
  • Создайте несколько развертываний для сравнения моделей или разверните их для разных вариантов использования.
  • Управляйте результатами производительности пользовательских моделей, настроенных на наборы данных.

Собственная версия Playground от Azure, как показано выше, позволяет тестировать разные модели, развернутые для разных примеров. Функции включают в себя то, что доступно на Игровой площадке OpenAI. Единственным существенным отличием игровой площадки Azure является отсутствие доступа к последним моделям, таким как Turbo, которые должны быть выпущены в ближайшее время.

Ценовой анализ

Учитывая, что доработанные модели будут размещаться на серверах Azure, цена за доработанные модели включает дополнительную почасовую плату за хостинг по сравнению с ценами на Open AI (упомянутые в нашем предыдущем блоге).

Для базовых моделей и служба Azure, и OpenAI имеют схожие ценовые структуры для вывода. Однако для точно настроенных моделей (учитывая, что Azure уже взимает плату за размещение модели) услуга Open AI стоит дороже, как видно из диаграммы ниже. Точно настроенная модель DaVinci в службе Azure обеспечит экономию более 80 % по сравнению с тем, что предлагает Open AI.

Как лучше? Открытый ИИ или Azure?

Цены, указанные в таблице ниже, являются чисто условными, основанными на структуре ценообразования (OpenAI, Azure), и могут варьироваться. В таблице приведены цены на доводку модели с точки зрения обучения и логического вывода для разной длины токена.

Примечание. Предполагается, что время обработки приведенной выше диаграммы составляет 1 час для всех размеров токенов.

Открытый ИИ кажется лучшим выбором, если обучаемая модель использует набор данных примерно из 100 000 токенов. Однако для более крупных требований, когда мы обрабатываем около 3 миллионов токенов, Azure в целом будет дешевле.

Что мы делаем дальше?

В заключение следует отметить, что служба Azure OpenAI предоставляет доступ к моделям OpenAI, включая GPT-3, через REST API, Python SDK или веб-интерфейс. Однако последние модели, такие как GPT-3.5 Turbo, пока недоступны на платформе. Он также предлагает дополнительные функции, которые поддерживают корпоративных пользователей, такие как поддержка виртуальной сети, управляемая идентификация и поддержка частных ссылок. Azure OpenAI Service Studio позволяет пользователям экспериментировать с завершением подсказок, настраивать модели с тонкой настройкой и управлять результатами производительности.

Что касается ценообразования, Azure и OpenAI имеют схожие структуры ценообразования для базовых моделей, при этом Azure предоставляет дополнительные функции безопасности, такие как частные сети и конечные точки. Однако для точно настроенных моделей Azure взимает дополнительную почасовую плату за хостинг, но стоимость обучения и выводов для этих моделей обычно ниже, чем структура ценообразования OpenAI. В целом, использование Azure Open AI Service может обеспечить безопасность инфраструктуры и сократить расходы на точную настройку моделей в очень больших наборах данных по сравнению с непосредственным использованием служб OpenAI. Ограниченная региональная доступность службы тонкой настройки может быть проблемой для некоторых пользователей, особенно для тех, на кого распространяются требования GDPR. Однако базовая модель для общих сценариев доступна в Западной Европе, что позволяет корпоративным пользователям контролировать, куда отправляются данные.

Узнайте больше об инновационных лабораториях версии 1 здесь.

Об авторе:
Рохит Винсент — специалист по данным в Версии 1.