Сцена управления подсказками теперь включает Azure, которая добавила в Azure ML набор новых функций. Я экспериментировал с этими функциями в течение последних нескольких недель и создал серию блогов из трех частей 📝. Эта серия предназначена для тех, кто хочет улучшить свою работу с помощью инструментов отраслевого уровня 💻.

LLM превратились в мощный инструмент для множества приложений. Совершенно очевидно, что быстро создать прототип приложения, которое еще год назад было невозможно себе представить, не составляет труда. Однако разработка и внедрение приложений искусственного интеллекта на основе LLM может оказаться сложной задачей. Откройте для себя поток подсказок машинного обучения Azure — новаторский инструмент разработки, который обещает революционизировать наш подход к разработке приложений искусственного интеллекта на основе LLM. Поток запросов интегрирован в рабочую область машинного обучения Azure, которая уже является надежной платформой для машинного обучения.

Поток запросов машинного обучения Azure — это не просто еще один инструмент разработки. Это комплексная платформа с особыми преимуществами LLM. В этом посте будут представлены ключевые понятия и показано, как их настроить.

Методика быстрого потока

Azure, известная своим огромным набором многофункциональных предложений, разрабатывает свои продукты на основе определенной методологии. Благодаря моему опыту работы с такими предложениями, как Azure ML и Synapse, я понял, что понимание базовой философии продукта значительно повышает удобство его использования.

Azure разделяет оперативное проектирование на четыре этапа; Инициализация, экспериментирование, оценка/уточнение и производство.

Инициализация. Начните с определения бизнес-требований, агрегирования образцов данных и освоения создания основного запроса. Впоследствии развивайте поток, чтобы расширить его полезность.

Эксперимент. Проверьте свой поток, используя образцы данных. Проанализируйте эффективность подсказки и, при необходимости, измените поток. Этот этап может повлечь за собой повторное тестирование для обеспечения достижения желаемого результата.

Оценка и уточнение. Проверьте поток с помощью обширного набора данных, чтобы определить его надежность. Оцените эффективность подсказки и внесите необходимые изменения. Если результаты соответствуют вашим целям, переходите к следующему этапу.

Производство. Оптимизируйте поток, чтобы обеспечить эффективность и результативность. После развертывания внимательно отслеживайте его производительность в реальной среде и сопоставляйте данные об его использовании и отзывы. Используйте эти идеи для улучшения потока и информирования о потенциальных изменениях на предыдущих этапах.

Сущности потока подсказок

Поток подсказок абстрагирует строительные блоки стека разработки подсказок в семействе ожидаемых объектов. В следующих постах я буду соединять это на примерах.

Связи

Соединения в потоке запросов связывают ваше приложение с удаленными API или источниками данных. Они являются хранителями важной информации, такой как конечные точки и секреты, обеспечивая безопасную и эффективную передачу данных.

В рабочей области машинного обучения Azure у вас есть варианты. Вы можете настроить подключения как общие ресурсы или сохранить их конфиденциальность. А для тех, кто заботится о безопасности, все секреты надежно хранятся в Azure Key Vault, соответствующем первоклассным стандартам безопасности. Вы также можете создавать собственные соединения в Python.

Среда выполнения

Среды выполнения в потоке запросов — это вычислительные ресурсы, которые будет использовать ваше приложение. Они полагаются на образы Docker, в которые загружены все инструменты, которые могут вам понадобиться.

В рабочей области машинного обучения Azure есть среда по умолчанию, с помощью которой можно начать работу со ссылкой на предварительно созданный образ Docker. Вы также можете настроить и развернуть свою уникальную среду в рабочей области, которая будет знакома пользователям Azure ML.

Prompt Flow предлагает управляемую среду выполнения онлайн-развертывания и среду выполнения вычислительных экземпляров. Первый предлагает управляемое масштабируемое решение, которое удовлетворяет большинству приложений, но не имеет некоторых функций управляемой идентификации. На самом деле это абстрагирует онлайн-конечные точки Azure ML. Среда выполнения вычислительного экземпляра предлагает более подробное определение, но может быть более горизонтально масштабируемой. Это абстрагирует вычислительные экземпляры Azure ML.

Потоки

Потоки — это центральная часть PromptFlow. Они представляют собой фундаментальную схему вашего приложения искусственного интеллекта на основе LLM. Эта парадигма преимущественно подчеркивает методическую и структурированную организацию перемещения и обработки данных. Они являются «трубопроводом» методологии оперативного проектирования.

Центральное место в архитектуре потока занимают узлы, каждый из которых символизирует отдельный служебный инструмент. Эти узлы управляют данными, выполняют определенные задачи и администрируют алгоритмы. Для любителей детальной настройки пользовательский интерфейс был тщательно разработан с учетом ваших потребностей. Его дизайн напоминает технический блокнот, что позволяет легко изменять настройки или напрямую взаимодействовать с базовым кодом. Кроме того, визуализация DAG в стиле конвейера обеспечивает панорамное представление о взаимосвязях между различными компонентами.

Инструменты

Инструменты, представленные в потоке подсказок, реализуют явные функции, которые LLM могут использовать для выполнения задач. Обычно это сбор свежих данных из Интернета или выполнение операций, не подходящих для языковых моделей. Такие возможности знакомы пользователям LangChain и LLamaIndex.

Согласно официальной документации PromptFlow.

«Инструменты — это основополагающие элементы потока в потоке подсказок Машинного обучения Azure. Они функционируют как простые исполняемые объекты, каждый из которых предназначен для конкретной задачи. Этот модульный подход позволяет разработчикам объединять эти инструменты и создавать поток, адаптированный к различным целям».

Инструмент LLM. Инструмент LLM, предназначенный для создания пользовательских подсказок, использует возможности больших языковых моделей для таких задач, как обобщение контента и автоматические ответы клиентов.

Инструмент Python: этот инструмент поддерживает разработку пользовательских функций Python, подходящих для очистки веб-страниц, обработки данных и интеграции сторонних API.

Инструмент подсказок. Инструмент подсказок, используемый в основном для подготовки строковых подсказок, оптимизирован для сложных сценариев и без проблем работает с другими подсказками и инструментами Python. Например, вы можете использовать это для обработки вывода вашего LLM в JSON.

Предупреждение: важно отметить, что на данный момент Prompt Flow все еще находится на стадии общедоступной предварительной версии. Это означает, что к нему не привязано соглашение об уровне обслуживания, что делает его менее идеальным для задач производственного уровня. Функции все еще дорабатываются, и некоторые из них могут иметь ограниченные возможности. Я обнаружил, что некоторые из примеров инструментов были менее готовы, чем другие функции.

Варианты

В мире Prompt flow вариант похож на уникальную версию узла инструмента, каждая со своими настройками. На данный момент это особенность инструмента LLM. Подумайте об этом так: если вы пытаетесь резюмировать новостную статью, вы можете поэкспериментировать с различными версиями подсказок или настройками соединения. Все дело в том, чтобы найти идеальное сочетание для ваших нужд.

Заключение

Независимо от того, являетесь ли вы опытным разработчиком или только начинаете работать в мире искусственного интеллекта, поток подсказок машинного обучения Azure предлагает инструменты, ресурсы и рекомендации, которые обеспечат ошеломительный успех ваших приложений искусственного интеллекта на основе LLM. Погрузитесь в будущее развития искусственного интеллекта уже сегодня!

Помните, что Prompt Flow находится в общедоступной предварительной версии, поэтому может пока не подходить для производственных рабочих нагрузок. Всегда обращайтесь к официальной документации за подробными инструкциями и обновлениями.

Использование подсказок

В Microsoft Learn уже есть удобное руководство по использованию PromptFlow. Я сократил это здесь для удобства. В следующих постах я расскажу более подробно о некоторых уроках.

Ссылки