Вот ментальная карта для AI/ML ChatGPT (и Rust 🦀), связанная с текущим состоянием (и подсчетом) для моего собственного использования.

  • 🐍 лама: открытые и эффективные базовые языковые модели.
  • 🐍 LLaMA_MPS: выполнение вывода LLaMA (и Stanford-Alpaca) на графических процессорах Apple Silicon.
  • 🐇 llama.cpp: вывод модели LLaMA на чистом C/C++.
  • 🐇 alpaca.cpp: объединяет базовую модель LLaMA с открытой репродукцией Stanford Alpaca, тонкой настройкой базовой модели для выполнения инструкций (сродни RLHF, используемой для обучения ChatGPT) и набором модификаций llama.cpp. чтобы добавить интерфейс чата.
  • 🦀 llama-rs: Делайте LLaMA, но теперь на Rust 🦀🚀🦙
  • 🐍 альпака: Стэнфордская альпака: модель LLaMA, следующая инструкциям
  • 🐍 codealpaca: модель LLaMA, следующая инструкциям, обученная инструкциям по генерации кода.
  • 🐍 альпака-лора: LLaMA Instruct-Tuning низкого ранга // train 1hr/RTX 4090
  • 🐥 llama-node: клиентская библиотека Node.js для llama LLM, построенная поверх llama-rs. Он использует napi-rs как Node.js и собственные средства связи.
  • 🦀 RLLaMA: Rust+OpenCL+AVX2 реализация кода вывода LLaMA.
  • 🐍 Долли: это точная настройка модели GPT-J 6B в наборе данных Alpaca с использованием блокнота Databricks.
  • 🐍 Флан-Альпака: инструкция по настройке от людей и машин.
  • 🐇 bloomz.cpp: вывод BLOOM-подобных моделей HuggingFace на чистом C/C++, построенный поверх удивительного llama.cpp.
  • 🐍 BLOOM-LoRA: LLaMA Instruct-Tuning низкого ранга.
  • 🐍 RWKV-LM: RWKV — это РНС с производительностью LLM уровня трансформатора. Его можно напрямую обучать, как GPT (распараллеливаемый). Таким образом, он сочетает в себе лучшее из RNN и трансформатора — отличную производительность, быстрый вывод, экономию видеопамяти, быстрое обучение, бесконечный ctx_len и бесплатное встраивание предложений.
  • 🦀 smolrsrwkv: очень простой пример подхода RWKV к языковым моделям, написанный на Rust кем-то, кто практически ничего не знает о математике или нейронных сетях.
  • 🐍 gpt4all-lora: чат-бот, обученный на огромной коллекции чистых данных помощника, включая код, истории и диалоги.
  • 🐍 Lit-LLaMA: независимая реализация LLaMA с полностью открытым исходным кодом под лицензией Apache 2.0. Эта реализация основана на nanoGPT. // The finetuning requires a GPU with 40 GB memory (A100). Coming soon: LoRA + quantization for training on a consumer-grade GPU!
  • 🐇 rwkv.cpp: порт BlinkDL/RWKV-LM на ggerganov/ggml. Конечная цель состоит в том, чтобы разрешить 4-битный квантованный вывод на ЦП. // WIP
  • 🐍 LLaMA-Adapter: LLaMA-адаптер: эффективная тонкая настройка языковых моделей с нулевым вниманием. Используя 52 тыс. демонстраций самообучения, LLaMA-Adapter вводит только 1,2 млн обучаемых параметров на замороженной модели LLaMA 7B. // 1 hour for fine-tuning on 8 A100 GPUs.
  • 🐍 vicuna: чат-бот с открытым исходным кодом, впечатляющий GPT-4 с качеством ChatGPT 90%.
  • 🐍 коала: чат-бот, обученный тонкой настройке LLaMA от Meta на данных диалогов, собранных из Интернета.

Инструменты

  • 🐍 langchain: создание приложений с помощью LLM за счет возможности компоновки.
  • 🐥 langchainjs: ленгчейн на js.
  • 🐥 langchain-alpaca: полностью запускать alpaca LLM локально в langchain.
  • 🐇 шепот.cpp: высокопроизводительный вывод модели автоматического распознавания речи Whisper (ASR) OpenAI.
  • 🐍 шепот-маленький: Whisper — это предварительно обученная модель для автоматического распознавания речи (ASR) и перевода речи. Модели Whisper, обученные на 680 000 часов размеченных данных, демонстрируют высокую способность обобщать многие наборы данных и домены без необходимости тонкой настройки.
  • 🐇 Talk: поговорите с искусственным интеллектом в своем терминале.
  • 🐍 chatgpt-retrieval-plugin: плагин поиска ChatGPT позволяет легко искать и находить личные или рабочие документы, задавая вопросы на повседневном языке.
  • 🐍 llama-retrieval-plugin: скрипт плагина поиска LLaMa с использованием плагина поиска OpenAI.
  • 🦀 llm-цепочка: шаблоны подсказок и объединение подсказок в многошаговые цепочки, обобщение длинных текстов или выполнение сложных задач по обработке данных.
  • 🐍 лепестки: запускайте более 100 миллиардов языковых моделей дома в стиле BitTorrent. Точная настройка и логические выводы до 10 раз быстрее, чем разгрузка.

Демо

  • 🤗 Raven-RWKV-7B: 7B, Raven — это RWKV 7B 100% RNN RWKV-LM, настроенный на выполнение инструкций.
  • 🤗 ЧатRWKV-градио: 14B, RWKV-4-Pile-14B-20230313-ctx8192-test1050
  • 🤗 Code Alpaca: 13B, Модели Code Alpaca точно настроены на основе модели 7B и 13B LLaMA на 20 000 данных выполнения инструкций, сгенерированных с помощью методов, описанных в статье Self-Instruct [1], с некоторыми изменениями, которые мы обсуждаем в следующий раздел. Оценки все еще todo.
  • 🤗 Alpaca-LoRA-Serve: 7B, Инструкция по доработанной версии LLaMA от Meta AI. Alpaca-LoRA — это LLaMA Instruct-Tuning низкого ранга, вдохновленная проектом Stanford Alpaca. Это демонстрационное приложение в настоящее время работает в версии 7B на экземпляре T4.
  • 🤗 LLaMA-Adapter: 7B +1.2M, Официальная демонстрация LLaMA-Adapter: эффективная тонкая настройка языковых моделей с нулевым вниманием.
  • 🤖 Игровая площадка Alpaca-LoRA: 30B, Alpaca-LoRA, которая представляет собой доработанную версию LLaMA с инструкциями. Эта демонстрация в настоящее время запускает версию 30B на экземпляре 3 * A6000 на Jarvislabs.ai.
  • 🤖 Koala: 13B чат-бот, доработанный LLaMA для общих разговоров пользователей и наборов данных с открытым исходным кодом. Этот работает аналогично Vicuna.

Я продолжу отображать случайные знания, которые я нашел, особенно о Rust, связанные здесь.