Вот ментальная карта для AI/ML ChatGPT (и Rust 🦀), связанная с текущим состоянием (и подсчетом) для моего собственного использования.
- 🐍 лама: открытые и эффективные базовые языковые модели.
- 🐍 LLaMA_MPS: выполнение вывода LLaMA (и Stanford-Alpaca) на графических процессорах Apple Silicon.
- 🐇 llama.cpp: вывод модели LLaMA на чистом C/C++.
- 🐇 alpaca.cpp: объединяет базовую модель LLaMA с открытой репродукцией Stanford Alpaca, тонкой настройкой базовой модели для выполнения инструкций (сродни RLHF, используемой для обучения ChatGPT) и набором модификаций llama.cpp. чтобы добавить интерфейс чата.
- 🦀 llama-rs: Делайте LLaMA, но теперь на Rust 🦀🚀🦙
- 🐍 альпака: Стэнфордская альпака: модель LLaMA, следующая инструкциям
- 🐍 codealpaca: модель LLaMA, следующая инструкциям, обученная инструкциям по генерации кода.
- 🐍 альпака-лора: LLaMA Instruct-Tuning низкого ранга
// train 1hr/RTX 4090
- 🐥 llama-node: клиентская библиотека Node.js для llama LLM, построенная поверх llama-rs. Он использует
napi-rs
как Node.js и собственные средства связи. - 🦀 RLLaMA: Rust+OpenCL+AVX2 реализация кода вывода LLaMA.
- 🐍 Долли: это точная настройка модели GPT-J 6B в наборе данных Alpaca с использованием блокнота Databricks.
- 🐍 Флан-Альпака: инструкция по настройке от людей и машин.
- 🐇 bloomz.cpp: вывод BLOOM-подобных моделей HuggingFace на чистом C/C++, построенный поверх удивительного
llama.cpp
. - 🐍 BLOOM-LoRA: LLaMA Instruct-Tuning низкого ранга.
- 🐍 RWKV-LM: RWKV — это РНС с производительностью LLM уровня трансформатора. Его можно напрямую обучать, как GPT (распараллеливаемый). Таким образом, он сочетает в себе лучшее из RNN и трансформатора — отличную производительность, быстрый вывод, экономию видеопамяти, быстрое обучение, бесконечный ctx_len и бесплатное встраивание предложений.
- 🦀 smolrsrwkv: очень простой пример подхода RWKV к языковым моделям, написанный на Rust кем-то, кто практически ничего не знает о математике или нейронных сетях.
- 🐍 gpt4all-lora: чат-бот, обученный на огромной коллекции чистых данных помощника, включая код, истории и диалоги.
- 🐍 Lit-LLaMA: независимая реализация LLaMA с полностью открытым исходным кодом под лицензией Apache 2.0. Эта реализация основана на nanoGPT.
// The finetuning requires a GPU with 40 GB memory (A100). Coming soon: LoRA + quantization for training on a consumer-grade GPU!
- 🐇 rwkv.cpp: порт BlinkDL/RWKV-LM на ggerganov/ggml. Конечная цель состоит в том, чтобы разрешить 4-битный квантованный вывод на ЦП.
// WIP
- 🐍 LLaMA-Adapter: LLaMA-адаптер: эффективная тонкая настройка языковых моделей с нулевым вниманием. Используя 52 тыс. демонстраций самообучения, LLaMA-Adapter вводит только 1,2 млн обучаемых параметров на замороженной модели LLaMA 7B.
// 1 hour for fine-tuning on 8 A100 GPUs.
- 🐍 vicuna: чат-бот с открытым исходным кодом, впечатляющий GPT-4 с качеством ChatGPT 90%.
- 🐍 коала: чат-бот, обученный тонкой настройке LLaMA от Meta на данных диалогов, собранных из Интернета.
Инструменты
- 🐍 langchain: создание приложений с помощью LLM за счет возможности компоновки.
- 🐥 langchainjs: ленгчейн на js.
- 🐥 langchain-alpaca: полностью запускать alpaca LLM локально в langchain.
- 🐇 шепот.cpp: высокопроизводительный вывод модели автоматического распознавания речи Whisper (ASR) OpenAI.
- 🐍 шепот-маленький: Whisper — это предварительно обученная модель для автоматического распознавания речи (ASR) и перевода речи. Модели Whisper, обученные на 680 000 часов размеченных данных, демонстрируют высокую способность обобщать многие наборы данных и домены без необходимости тонкой настройки.
- 🐇 Talk: поговорите с искусственным интеллектом в своем терминале.
- 🐍 chatgpt-retrieval-plugin: плагин поиска ChatGPT позволяет легко искать и находить личные или рабочие документы, задавая вопросы на повседневном языке.
- 🐍 llama-retrieval-plugin: скрипт плагина поиска LLaMa с использованием плагина поиска OpenAI.
- 🦀 llm-цепочка: шаблоны подсказок и объединение подсказок в многошаговые цепочки, обобщение длинных текстов или выполнение сложных задач по обработке данных.
- 🐍 лепестки: запускайте более 100 миллиардов языковых моделей дома в стиле BitTorrent. Точная настройка и логические выводы до 10 раз быстрее, чем разгрузка.
Демо
- 🤗 Raven-RWKV-7B:
7B
, Raven — это RWKV 7B 100% RNN RWKV-LM, настроенный на выполнение инструкций. - 🤗 ЧатRWKV-градио:
14B
, RWKV-4-Pile-14B-20230313-ctx8192-test1050 - 🤗 Code Alpaca:
13B
, Модели Code Alpaca точно настроены на основе модели 7B и 13B LLaMA на 20 000 данных выполнения инструкций, сгенерированных с помощью методов, описанных в статье Self-Instruct [1], с некоторыми изменениями, которые мы обсуждаем в следующий раздел. Оценки все еще todo. - 🤗 Alpaca-LoRA-Serve:
7B
, Инструкция по доработанной версии LLaMA от Meta AI. Alpaca-LoRA — это LLaMA Instruct-Tuning низкого ранга, вдохновленная проектом Stanford Alpaca. Это демонстрационное приложение в настоящее время работает в версии 7B на экземпляре T4. - 🤗 LLaMA-Adapter:
7B
+1.2M
, Официальная демонстрация LLaMA-Adapter: эффективная тонкая настройка языковых моделей с нулевым вниманием. - 🤖 Игровая площадка Alpaca-LoRA:
30B
, Alpaca-LoRA, которая представляет собой доработанную версию LLaMA с инструкциями. Эта демонстрация в настоящее время запускает версию 30B на экземпляре 3 * A6000 на Jarvislabs.ai. - 🤖 Koala:
13B
чат-бот, доработанный LLaMA для общих разговоров пользователей и наборов данных с открытым исходным кодом. Этот работает аналогично Vicuna.
Я продолжу отображать случайные знания, которые я нашел, особенно о Rust, связанные здесь.