Полное руководство по обучению LLM (основополагающим моделям)

Пространство LLM (Foundational Models) пережило огромный и быстрый рост. С таким количеством информации там. Может показаться, что вы потерялись в море. Сам проделав это упражнение, я хотел облегчить его для тех, кто начинает путешествие (или даже находится в его середине). Я использовал этот надежный метод получения нужной информации и в итоге публиковал книги, произведения искусства, подкасты и даже приложение LLM, ориентированное на потребителя, которое заняло #40 место в магазине приложений. Следите за всем моим путешествием здесь.

Я проходил различные учебные модули, в том числе этот от Google Cloud и этот от Databricks и другие пути обучения. Я обработал всю информацию, чтобы предоставить людям простой способ понять пространство; с тщательно отобранными видео (некоторые из них не указаны в списке!) и ресурсами популярных каналов и поставщиков, я собрал их все в одну огромную ментальную карту.

Хотя текущая версия фокусируется на текстовой модальности, я намерен расширить ее, включив дополнительные модальности по приведенной ниже ссылке для всей интерактивной карты разума.

LLM Learning MindMap: Lucidspark

Вот удобный для печати вид всех ресурсов.

Обучение LLM (основополагающие модели)

1. Базовые знания/понятия:

Что такое AI, ML и NLP

Введение в машинное обучение и искусственный интеллект — MFML Часть 1 — YouTube
«Что такое НЛП (обработка естественного языка)? - YouTube"

Введение в обработку естественного языка (NLP)

НЛП 2012 Дэн Джурафски и Крис Мэннинг (1.1) Введение в НЛП — YouTube
NLTK с Python 3 для обработки естественного языка — YouTube

Понимание представления текста и извлечения признаков

• Сумка слов, TF-IDF, вложения слов (Word2Vec, GloVe):

Концепции НЛП: TF-IDF, набор слов с объяснением на примерах — YouTube Расчет TF-IDF в НЛП (простой пример)

• Понимание Word2Vec и его реализация

Лекция 2 | Представления векторов слов: word2vec — YouTube

Пример использования.

• Понимание классификации текста (Наивный Байес, SVM, Нейронные сети)

Текстовая классификация с использованием наивного Байеса | наивный алгоритм Байеса в машинном обучении | Simplilearn — YouTube
Машина опорных векторов (SVM) за 2 минуты — YouTube Объяснение нейронных сетей за 5 минут — YouTube

Модели последовательного обучения

• Введение в RNN и LSTM

Рекуррентные нейронные сети (RNN) и долговременная кратковременная память (LSTM) — YouTube «Рекуррентные нейронные сети (RNN), ясное объяснение!!! - YouTube"

• Введение в последовательное обучение и механизмы внимания

Stanford CS224N: НЛП с глубоким обучением | Зима 2019 | Лекция 8 — Перевод, Seq2Seq, Внимание — YouTube
Stanford CS224N NLP с глубоким обучением | Зима 2021 | Лекция 7 — Перевод, Seq2Seq, Внимание — YouTube

2. LLM (Foundational Models) 101:
Введение в модели Transformer
Объяснение Transformers: понимание модели GPT, BERT и T5 — YouTube
Иллюстрированное руководство по нейросети «Трансформеры: пошаговое объяснение — YouTube»

• Механизм внимания Глубокое погружение.

Нейронные сети-трансформеры — ОБЪЯСНЕНИЕ! (Внимание — это все, что вам нужно) — YouTube
Механизм внимания: обзор — YouTube

• Кодер-декодер Глубокое погружение.

Архитектура кодер-декодер: обзор — YouTube

Лаборатория:

Архитектура кодер-декодер: прохождение лабораторной работы — YouTube

• Токенизация, встраивание и кодирование

Что такое модели-трансформеры и как они работают? — YouTube Модели трансформеров (cohere.com)

Введение в BERT (ранний пример LLM)

Нейронная сеть BERT — ОБЪЯСНЕНИЕ! — YouTube
Исследование BERT — Ep. 1 — Ключевые концепции и источники — YouTube

Подготовка LLM

Демистификация НЛП 15: Трансформеры с нуля + предварительное обучение и перенос обучения с помощью BERT/GPT — YouTube

Точная настройка LLM

Точная настройка больших языковых моделей — Себастьян Рашка

3. Создание модели генерации текста с нуля:

• Модель N-gram Language — новичок

Генерация предложений с помощью n-грамм с помощью Python — YouTube

• с RNN и Seq2seq — средний уровень

Генерация текста с помощью RNN | TensorFlow
Нейронный машинный перевод с вниманием | Текст | ТензорФлоу

• Трансформер с нуля — Продвинутый

Нейронный машинный перевод с Transformer и Keras | Текст | TensorFlow
Короткометражный — Pytorch Transformers from Scratch (Внимание — это все, что вам нужно) — YouTube
Длинный — Трансформеры с нуля

4. Использование LLM

Использование и сборка ($) — Pretrained, Train, Finetune LLM

Предварительное обучение против тонкой настройки против изучения LLM в контексте (GPT-x) ОБЪЯСНЕНИЕ | Полное руководство ($) — YouTube

Использование сторонних моделей

• Собственный

-OpenAI

Начало работы с OpenAI API и GPT-3 | Учебное пособие по Python для начинающих — YouTube
Введение — OpenAI API

• Открытый источник

🤗 Transformers (huggingface.co)
Обучение модели настроений с использованием BERT и ее обслуживание с помощью Flask API — YouTube

5. Развертывание LLM в рабочей среде

• Развернуть модель

Azure — Использование конечных точек для логических выводов — Машинное обучение Azure | Обучение Майкрософт

AWS + Huggingface — Экспорт моделей трансформеров 🤗 (huggingface.co)

Google Cloud — Создавайте, настраивайте и развертывайте базовые модели с помощью Vertex AI — YouTube

GitHub — GoogleCloudPlatform/llm-pipeline-examples

• Развертывание базы данных (векторные базы данных)

Векторные базы данных и большие языковые модели // Samuel Partee // LLMs in Production Conference — YouTube

• Оценить модель

LLMOps (LLM Bootcamp) — YouTube

• Развертывание + инструменты (langchain)

LangChain 101: Краткое руководство — YouTube

Надеюсь, это даст вам хороший путь для развития ваших навыков. Приятного обучения.

Первоначально опубликовано на https://www.linkedin.com.

СТАНЬТЕ ПИСАТЕЛЕМ на MLearning.ai //Попробуйте эти БЕСПЛАТНЫЕ инструменты машинного обучения сегодня!