Файнтюнинг и квантизация Llama-3 70B

Рет қаралды 2,128

Ай бұрын

В этом видео я показываю процесс файнтюнинга Llama 3 70B и квантизации модели с конвертацией в формат GGUF.
💻 immers.cloud - широкий выбор карт для обучения и инференса нейронных сетей: immers.cloud/signup/r/2024042...
Один из ведущих поставщиков услуг IaaS (Infrastructure as a Service) в России, специализирующийся на использовании графических процессоров (GPU).
Сервис предлагает конкурентоспособные цены и интуитивно понятный интерфейс, который даже начинающие пользователи могут легко освоить и начать работу с необходимым программным обеспечением.
💻 gptchain - фреймворк для быстрого развертывания AI-ассистентов: github.com/RuslanPeresy/gptchain
Поддерживает интеграцию с Telegram-ботом, Retrieval Augmented Generation (RAG), деплой моделей на LLM сервер и файнтюнинг LLM на собственных данных.
Телеграм-канал: t.me/ruslandevlive
Дискорд: / discord
🤗 Веса моей модели: huggingface.co/ruslandev/llam...
📉 Метрики обучения: api.wandb.ai/links/ruslandev/...
Это описание содержит реферальные ссылки.

Пікірлер: 19

@toster8240 Ай бұрын

Спасибо! Очень интересно и весьма наглядно.

@TheMr0day Ай бұрын

Спасибо за видео! Стали примерно понятны время и бюджеты, необходимых для дообучения таких больших моделей как 70B. Что касается метрик, то хотелось бы подробнее узнать про эти самые метрики, по которым сравниваются LLM и строятся всяческие топы моделей, например на Huggingface. Потому что по определенным бенчмаркам в топе зачастую вижу малоизвестные открытые модели (чаще всего дообученная llama), которые вроде там заявляются чуть ли не на уровне ChatGPT 4. В реальных же задачах (например, генерация кода) они обычно ничего выдающегося не показывают и сильно отстают от пресловутого ChatGPT. То есть по факту, возможно, идет подгон под бенчмарк. Поэтому интересна сама природа этих метрик: что и как измеряют самые популярные из них и насколько им следует, на твой взгляд, доверять.

@IT_psychopath Ай бұрын

дождались!😁спасибо!

@user-ed1rs5ph3u Ай бұрын

Ну надо пробовать что получилось

@waxboy6331 22 күн бұрын

Спасибо. Отличное видео. Запускал Llama3 70b через Ollama, но не смог повторить проблему как видео с пониманием русского языка, возможно там уже другая модель.

@noino5458 Ай бұрын

Может скинемся денюжкой на обучение? А после уже получим результат для общественности?

@AlekseyIT Ай бұрын

Что Вы знаете о rugtp? Есть смысл смотреть в её сторону или лучше взять lama3 и попробовать дообучить на русском датасете? Было бы интересно узнать, как создать самому датасет в рамках какого-то домена знаний? Например, взяв литературу по определённой тематике.

@ruslandev Ай бұрын

лучше взять llama 3 в репозитории датасета из этого видео - tagengo есть код, с помощью которого этот датасет был создан через запросы к gpt-4

@andreyegorov450 11 күн бұрын

Помогите объеденить Llama3 70b q8, не могу понять какието файлы можно объеденить с помощью copy /b а эта модел не хочет работать, чем делили непонятно

@ruslandev 10 күн бұрын

Что именно объединить? По квантизации в q8_0 есть инструкция у llama.cpp