Отказ от ответственности: этот пост был создан с использованием генеративного ИИ и в настоящее время тестируется. Начните создавать свои собственные с помощью Cohere.

TL;DR:

В четвертой части серии Генеративный ИИ с Cohere объясняется, как можно создать пользовательскую модель без знаний в области машинного обучения, чтобы преуспеть в конкретных задачах. Пользовательские модели позволяют оптимизировать генерацию языка для очень специфических сценариев, с которыми базовые модели могут не справиться. Процесс включает в себя обучение предварительно обученной модели с вашим собственным набором данных. В статье представлено пошаговое руководство, а для справки включена записная книжка Google Colaboratory. Сравнение производительности пользовательской модели с базовой моделью включает в себя три этапа: проверку метрик, выполнение пробных вызовов и измерение вероятности.
Отказ от ответственности. В этой статье для текста используется Cohere. поколение.

Краткое содержание:

В части 3 серии «Генеративный ИИ с Cohere» мы исследовали конечную точку Cohere Generate и экспериментировали с подсказками. Мы варьировали диапазон значений параметров, чтобы определить наилучшие комбинации, которые соответствовали нашим целям. Но что происходит, когда стоящая задача требует более специализированных возможностей, недоступных в базовой модели? Здесь в игру вступают пользовательские модели, и в этой статье мы более подробно рассмотрим, как создавать и обучать пользовательские модели с помощью Cohere.

Пользовательские модели — это доработанные версии базовых моделей, созданные для конкретного варианта использования. Предварительно обученные базовые модели отлично подходят для захвата языковых шаблонов в широком масштабе, но им может не хватать возможности обработки некоторых конкретных сценариев, таких как генерация текста в определенном стиле или голосе, обработка текста в специализированных доменах, извлечение информации из уникальных структур и т. д. и создание текста, точно следующего определенной теме. В таких случаях точная настройка с помощью пользовательской модели может помочь улучшить производительность модели и обеспечить большую предсказуемость.

Чтобы создать пользовательскую модель, единственным требованием является подготовка набора обучающих данных в формате .txt с примерами того, что модель должна выводить на основе запроса на ввод. Платформа Cohere принимает как минимум 32 примера, но для оптимальной производительности мы рекомендуем поэкспериментировать с сотнями или тысячами примеров. Платформа Cohere позволяет бесплатно создавать несколько пользовательских моделей без ограничений на количество создаваемых моделей.

Чтобы проиллюстрировать процесс, мы будем использовать пример перефразирования человеческого запроса в ответ виртуального помощника, используя набор данных из статьи «Sound Natural: Content Rephrasing in Dialog Systems» Einolghozati et al. Мы возьмем файл train.tsv, содержащий 2243 примера, и извлечем только первый и последний столбцы (запрос человека и высказывание виртуального помощника). Мы преобразуем этот файл в формат .txt, где за каждым примером следует разделитель, например «--». Этот текстовый файл будет служить нашим обучающим набором данных для пользовательской модели.

Обучение пользовательской модели с помощью Cohere — это простой процесс, и платформа предоставляет пошаговое руководство на своей панели инструментов. Мы загружаем текстовый файл и определяем разделитель, и платформа инициирует процесс обучения. После завершения обучения мы получаем электронное письмо с уведомлением о том, что наша настраиваемая модель развернута и готова к использованию. Мы можем оценить производительность пользовательской модели, проверив метрики, выполнив пробные вызовы и измерив вероятность.

Такие метрики, как точность и потери, могут дать быстрое представление о производительности пользовательской модели с указанием на хорошую производительность, когда точность увеличивается, а потери уменьшаются. Мы можем сделать пробные вызовы базовой и пользовательской моделей, используя ту же подсказку и параметры, и сравнить результаты. Мы также можем измерить вероятность, чтобы сравнить, насколько неожиданной является строка текста, показывая, насколько последовательно модель может давать качественные результаты.

В заключение, создание пользовательской модели с помощью Cohere — это эффективный способ тонкой настройки базовой модели в соответствии с конкретными вариантами использования. Процесс требует только подготовки обучающего набора данных, а платформа Cohere делает обучение, развертывание и оценку пользовательских моделей простыми и доступными. Используя настраиваемые модели, пользователи могут использовать предсказуемость платформы Cohere и добиться более высокой производительности в определенных сценариях.

Ознакомьтесь с полной историей на Cohere.
Поддержите меня в этом путешествии по генеративному ИИ, став участником или купив мне кофе.