100% ЛОКАЛЬНЫЙ и ПРИВАТНЫЙ GPT - PrivateGPT
Рет қаралды 68,220
Күн бұрынВ этом видео, я показываю как устанавливается privateGPT. Это полностью локальный аналог ChatGPT и других языковых моделей.
Телеграм канал "Выпусти джуна из лампы":
t.me/+UlnX5EHIspdjNDVi
Здесь я помогаю начинающим айтишникам получить свой оффер мечты
Ссылки:
PrivateGPT - github.com/imartinez/privateGPT
Таймкоды:
0:00 - Вступление
0:20 - Проблема и эксперимент
1:20 - privateGPT
2:35 - Установка privateGPT
3:30 - Установка Python
4:10 - Клонирование репозитория
4:50 - Создание виртуального окружения
5:50 - Установка Poetry и других пакетов
9:55 - Запуск локального GPT без GPU
11:25 - Настройка privateGPT для работы через GPU
12:55 - Запуск локального GPT с GPU
13:25 - Немного про работу внутри privateGPT
14:00 - Мои планы по эксперименту с имитацией разработки с помощью LLM
14:55 - Небольшие нюансы по установке Build Tools и CUDA
16:00 - Вместо заключения
@ATtiny13a-PU 5 ай бұрын
Подписался и поставил лайк хотябы просто потому что без музыки на фоне с хорошо поставленной речью и заготовленной структурой видео человек смог рассказать всё что требовалось по данной теме.
@WikiModels 5 ай бұрын
Приятно видеть образованного человека, говорящего по теме! Пожалуйста, продолжайте в том же духе! Отличный обзор!
@innerjoinr 5 ай бұрын
Спасибо за столь подробный гайд по установке! Столкнулся в проблемой по работе с qdrant, но быстро нашёл решение поменять на chroma. Всё остальное прошло без проблем. И да, запускал на Ubuntu 22.03 под WSL2. Лайк и подписка!
@Jonathan_Price 6 ай бұрын
Thank you! The other strategies with other youtuber's had not worked previously until I followed yours.
@intrigazTV 6 ай бұрын
Ничего себе размах. Крутые планы. Будет интересно посмотреть что из этого получится. Удачи!
@user-sh1ro8bg5l 6 ай бұрын
Очень информативное и хорошее видео! Большое спасибо автору. Очень интересно, что будет дальше
@takethejunioroutofthelamp 5 ай бұрын
Спасибо!
@user-iz9sj1nn5q 5 ай бұрын
4:43 Для MacOS (пришлось искать самому): 1. Предварительно нужно выйти в корневую попку пользователя: cd ~ 2. Установка и создание виртуального окружения: python3 -m venv localGPT 3. Активация виртуального окружения: source localGPT/bin/activate В дальнейшем вместо "py" использовать "python3"
@urmatallatra 6 ай бұрын
Видео класс. Можешь показать как обучать на своих данных, допустим базу подключить офисную
@bairshirapov3449 6 ай бұрын
Спасибо! Ждем след. вид. как загрузили свою базу знаний и каковы результаты.
@LuaNaZakaz 6 ай бұрын
Ждём видео с тестами скармливания файлов и работы с ними
@dmitrisitnikov8489 5 ай бұрын
аналогично
@user-vp2ky4ui8f 4 ай бұрын
Ага
@yllkk_936 5 ай бұрын
Спасибо за видео! хотелось бы узнать характеристики вашего ноутбука, в частности cpu, gpu
@The_Dream_Person 5 ай бұрын
Круто! Ждем продолжения.
@ZloyRus 6 ай бұрын
Друг! Спасибо тебе! Я написал Prompt и PrivateGPT уже во всю помогает мне с моими задачами в коде. Спасибо!
@ibadoffs 3 ай бұрын
Можно поподробнее, как писать этот промт, что бы помогал с кодом. Спасибо
@denismarchall8673 5 ай бұрын
С таким интересом я видос еще не смотрел) спасибо, взял на вооружение
@_profe_games3306 5 ай бұрын
Сколько информации она способна принять для дообучения? Сколько токенов способна принять и сколько вернуть? И какого года у нее база данных?
@Karpenko-ed4xl 5 ай бұрын
Здравствуйте. Спасибо, полезно 🙂🙂 Можно узнать ваши характеристики пк: процессор, видеокарта?
@muzh83 5 ай бұрын
очень интересно! надеюсь все получится! удачи!
@takethejunioroutofthelamp 5 ай бұрын
Спасибо!
@sai_404_1 5 ай бұрын
Здравствуйте, как можно заменить используемую модель для общения на свою? Хотел бы использовать свою модель для экспериментов
@LYT101 5 ай бұрын
Всё получилось, ждём дальнейшего развития. Я, хотел бы к этой модели присоединить заметки из Obsidian они в формате md маркдаун, и хотел бы чтоб я делал заметки так же в Обсидиане, а запросы в этом локальном чате. Было бы круто.
@adultart 5 ай бұрын
Тоже сразу об этом подумал =)
@ph08nyx 5 ай бұрын
А вдруг gpt+obsidian=сильный ИИ... куды тогда бечь? Шутка.
@Ardbot 5 ай бұрын
Странно, но как только я начал изучать obsidian, то попалось это видео.думаю, это не совпадение
@dmitryd6268 Ай бұрын
Не совпадение ИИ уже подсказывает человеку как и что делать, чтобы полностью заменить собой человечество. (Сарказм, если что)
@egorius 3 ай бұрын
Сделал всё как написано, но на этапе poetry install --with ui возникает ошибка “Group(s) not found: ui (via --with)". Подскажите пожалуйста с чем это может быть связано. Спасибо
@TopsyPlay 4 ай бұрын
poetry install --with ui не сработало до установки именно pip install poetry (без pipx)
@user-eg6xf1fq6c 3 ай бұрын
+
@user-uo9xm3vn1w 4 ай бұрын
Здравствуйте. Подскажите чисто теоритически с помощью нейросетей возможно создать предположим простой стриминговый сервис на блокчейне ?
@airlow6784 3 ай бұрын
Очень близко к тому что я ищу, спасибо, буду пробывать!
@tikserziku 5 ай бұрын
Ждем других видео. Тоже работаю над этой темой.
@BobiBobObana 5 ай бұрын
Есть модель для С++? Просто хочу понять есть ли смысл его качать. Например он может написать сортировку с помощью итераторов?
@ui3er 5 ай бұрын
Привет, а можешь сделать урок, как свою нейронку обучать, именно в этом пакете? К примеру после обучения свою модель подгрузить и т.д. Спасибо
@user-rv2ri2qu1x 5 ай бұрын
кишка тонка у твоего компа для обучения, только максимум на gpt2.
@user-nm6by8yv6b 2 ай бұрын
Интересно, тоже полный ноль в программирование учусь на коленке, спасибо за инструкцию и "легкость языка". А Вы не пробывали сделать что-то подобное но уже на сервере в облаке, чтобы можно было зайти в "свой gpt" с любого устройства ?
@url4573 5 ай бұрын
То есть это считай свой чат гпт без использования платного апи которого ты сам обучаешь? А можно его обучить и поставить на сервер без 5 гб и чтобы он отвечал людям по определнной теме?
@tacowilco7515 5 ай бұрын
супер, спасибо можно завернуть всё в докер (если еще нет нет готового имиджа), что систему не мучать
@diversitynone431 5 ай бұрын
Её можно натравить для обучения на форум в интернете и потом спрашивать по его материалам?
@mqst 5 ай бұрын
Полезно, жду добавление своих файлов
@MaxB4 5 ай бұрын
Под WSL2 не пробовали установить? Такие линуксовые вещи ставить под windows - много лишних телодвижений (powershell, vs минус build tools,..).
@takethejunioroutofthelamp 5 ай бұрын
На мак ставил другу, там довольно быстро встало, на линукс еще не пробовал
@vladoman29 4 ай бұрын
Спасибо, еще хотелось бы что-то вроде топа моделей увидеть, какие локальные модели ближе всего к гпт4 можно использовать? Я бы хотел максимально нагрузить свое железо (64gb ddr5, gpu: 7800xt с 16гб видеопамяти)
@vrdgtfurdiotrfhdd 4 ай бұрын
Большое уважение за видос👍👍👍👍👍👍
@user-td5ux3cj6s 5 ай бұрын
Огромное спасибо то что искал.
@B00TC0RE 6 ай бұрын
Искал что-то подобное. Надо попробовать.
@takethejunioroutofthelamp 6 ай бұрын
Вперед и успехов, расскажите о своем опыте тоже ради интереса)
@pashahous 6 ай бұрын
А какой минимальный объем памяти на GPU нужно? Какая у вас модель GPU?
@takethejunioroutofthelamp 6 ай бұрын
У меня RTX 3070 8Gb
@intrigazTV 6 ай бұрын
А реально ли её дообучить на каких-то собственных доках? Например, скормить документацию по толком непроиндексированному в паблике движку.
@takethejunioroutofthelamp 6 ай бұрын
Да, она это делает и неплохо справляется
@Full-master 5 ай бұрын
Оно контекст быстро упускает из вида?
@user-on4th5vf4y 4 ай бұрын
Все делаю, по инструкции. Не получается, можете подсказать, в чем может быть проблема?
@pianoman1558 4 ай бұрын
расскажите , плиз, об установке на локальную машину AUTOGPT. Можно его замкнуть не на API ChatGPT, а на данную модель, установленную локально? Так чтобы получился полностью автономный агент.
@NeBomj 5 ай бұрын
Вопрос - как эта LLM в сравнении с другими LLM с открытым кодом? stableLM, h2oGPT, Open Assistant, RWKV, еще есть LLAMA и alpaca
@takethejunioroutofthelamp 5 ай бұрын
Это LLAMA
@haarc3125 5 ай бұрын
В свое время купил видеокарту от AMD, давльно производительную, но как вижу сейчас в основом все локальные нейросети работают с CUDA, поддерки ROCm нет. Хотел бы узнать может ты знаешь похожую модель с поддержкой ROCm на Linux? Естсетвенно приходится использовать Linux, так как у WIndows нет поддрежи ROCm.
@reteavstudio 5 ай бұрын
Посмотрел я репозиторий этой штуки. Работает она вроде на pytorch, а он ROCm поддерживает. Большая часть фреймворков для машинного обучения поддерживают ROCm уже давно, так что вопрос в настройке и отсутствии гайдов по конкретным моделям.
@user-ev8nf1wg6u 5 ай бұрын
Можно ли запустить на оперативной памяти и сколько будет хавать?
@Petr1978 6 ай бұрын
Спасибо за труд!
@LYT101 5 ай бұрын
Не могу выполнить команду poetry install --with ui пишет: poetry : Имя "poetry" не распознано как имя командлета, функции, файла сценария или выполняемой программы. Проверьте пр авильность написания имени, а также наличие и правильность пути, после чего повторите попытку. строка:1 знак:1 + poetry install --with ui + ~~~~~~ + CategoryInfo : ObjectNotFound: (poetry:String) [], CommandNotFoundException + FullyQualifiedErrorId : CommandNotFoundException
@ImQugurun 5 ай бұрын
если память не изменяет нужно выполнить pipx ensurepath чтобы poetry стало доступно, перезапустить окно командной строки и выполнять уже дальше. Или как ниже посоветовали установить так python -m pip install poetry
@Itgeekpro 6 ай бұрын
Спасибо интересно, а какая конкретно модель используется? LLama?
@takethejunioroutofthelamp 6 ай бұрын
Да
@rrrreetreereerrerrrr 4 ай бұрын
BLAS = 1 у меня показал но вот я вообще не ощутил прироста производительность карта 3050 - может какие то настройки еще нужны? у меня еще есть gpu на cpu - может он не тот юзает я хз
@Sosed2024 6 ай бұрын
Благодарю!
@mylenefarmer8155 Күн бұрын
Очень приятная грамотная речь.
@testcloud3404 5 ай бұрын
Неплохое руководство Есть путь проще - LM Studio
@samezarus 6 ай бұрын
Спасибо !
@sergoorg1040 6 ай бұрын
Человечище, отдельный респект за цу по работе с репозиторием!
@takethejunioroutofthelamp 5 ай бұрын
Спасибо!
@YokoSakh 5 ай бұрын
Это LLAMA и Mistral, обе по 7B параметров. Попробуй Phi-2 от Микрософт, она выигрывает по бенчмаркам. У маленьких моделей размер контекста не очень тоже. Это надо будет учитывать при разработке.
@user-hm9in3dl8x 6 ай бұрын
А не подписаться ли мне (подумал я)? И...подписался!😊Дело за малым: продолжайте!
@takethejunioroutofthelamp 6 ай бұрын
Спасибо за приятные слова!
@raphaelnevmyanov4757 3 ай бұрын
Спасибо Киану Ривз. Очень хорошее видео
@romanmed9035 5 ай бұрын
а не отправляет ли оно разработчикам что-то или контролируемая разработчиками?
@KurskikhA 6 ай бұрын
Привет! Какую версию CUDA вы ставили? У меня работает только на CPU, команда переключения на gpu заканчивается ошибкой что llamacpp не может найти путь к cuda
@takethejunioroutofthelamp 6 ай бұрын
Жаль, заметно медленнее работает? В видео было показано как я устанавливал CUDA, найдите и посмотрите пожалуйста Если поделитесь текстом ошибки или скрином, было бы легче вам помочь
@user-oi3vx2ul1f Ай бұрын
Та програмируй на процесоре, не исполняй 😂😂😂
@user-gk3np5nr3b 4 ай бұрын
На каком железе запускали?
@adelesabr 6 ай бұрын
познавательно😊
@eduardmart1237 5 ай бұрын
А как дообучить модель?
@govkillplay6929 4 ай бұрын
Делал всё как на видео но столкнулся с ошибкой. Как её исправить? (localGPT) C:\Users\Serega\privateGPT>poetry install --with ui "poetry" не является внутренней или внешней командой, исполняемой программой или пакетным файлом.
@user-on4th5vf4y 4 ай бұрын
попробуйте удалить весь python и anaconda на компьютере и переустановите. У меня сработало
@mixr00tka 6 ай бұрын
Русский язык оно поддерживает? Было бы интересно послушать как скармливали свои данные для обучения и что в итоге получилось.
@takethejunioroutofthelamp 6 ай бұрын
Он мультиязычный. Может даже переводить с английского на русский, грамматика немного хромает, но в целом годная штука)
@LapshinLAB 5 ай бұрын
Всё ставится там где есть git poetry, pipx и так далее, а куда их ставить, в какие папки хз. И потом ничего не работает
@takethejunioroutofthelamp 5 ай бұрын
Ничего не понял)
@sergiytvelectro5664 6 ай бұрын
Подробнее пожалуйста о данной модели, есть Русский язык, как она с документами работает и так далее. Благодарен за откровенность о трудностях с которыми вы сталкивались и ответами на эти трудности. С сам пытался локально установить несколько моделей но заработала только одна (из шести) это Alpaca electron а модель конкретно не скажу нет сейчас такой возможности. иесли заинтересовао то напишу точно модель. 😊
@takethejunioroutofthelamp 6 ай бұрын
Да, есть русский язык, но в приоритете английский конечно де
@user-bs4yb6me3k 5 ай бұрын
@@takethejunioroutofthelamp а можно работать через обычный браузер на запросах?
@user-os1xg1rh4c 5 ай бұрын
@@user-bs4yb6me3k вопрос: что написано в документе х ? ответ: Hello! I'm an assistant designed to help answer questions in English. If you have a question or topic you'd like assistance with, please feel free to ask in English and I will так что с русским она не работает.
@worldlab9813 5 ай бұрын
Круть! Тоже хочу дома своего Джарвеса...
@takethejunioroutofthelamp 5 ай бұрын
Ахаха)) Да, это прям реально Джарвис на минималках
@mylenefarmer8155 Күн бұрын
Подписался. Спасибо!
@alex_illusion 5 ай бұрын
А какая у Вас видеокарта на ноуте при запуске privateGPT ?
@vladi_g 5 ай бұрын
RTX 3070 8Gb
@oldexe7035 5 ай бұрын
жду продолжения с добучением.
@severusalbus3931 2 ай бұрын
У меня почему то не установилась CUDA Toolkit, ошибку кидает, драйвер свежий, видюха 4070 супер, проц. Райзен 7 5800х, может подскажите что не так?
@AvitoB0T 2 ай бұрын
А у автора видео какие характеристики? Не могу найти название его процессора и видеокарты
@user-sq7ky5bm1o 2 күн бұрын
Как раз искал куда можно скормить внутренню документацию, чтобы потом через нейросеть делать поиск нужного
@Danekzaryazhennyy 6 ай бұрын
У меня poetry в командой строке после всех действий пишет, что не является внутренней или внешней командой, исполняемой программой или пакетным файлом.
@takethejunioroutofthelamp 6 ай бұрын
Такая ошибка говорит о том, что poetry не добавлен в path. Решения два: первое обращаться к poetry полным путем, второе - загуглить как можно добавить poetry в path
@Danekzaryazhennyy 6 ай бұрын
@@takethejunioroutofthelamp я добавлял сразу в path потом самостоятельно ибо знаю эту ошибку, но это не помогло, помогла команда python -m pip install poetry
@ford_one 5 ай бұрын
@@Danekzaryazhennyyкрасава, пол часа протыркался, ладно хоть в комменты решил залезть, спасибо
@Free-pp8mr 5 ай бұрын
Спасибо ! Очень ценная информация! Потому что немного напрягает эта вся хрень с маркетингом глобальных GPT и всей этой байды про генерацию картинок и аватарок, которые имеют негативную полезность.
@fedornachatoy1692 6 ай бұрын
Привет, какая видюха? ну что бы понимать минимальные требования. а в плане языка, на русском работает? или что то нужно дополнительно ставить?
@takethejunioroutofthelamp 6 ай бұрын
Rtx 3070 на ноуте
@rrrreetreereerrerrrr 4 ай бұрын
Целый день провозился с ошибкой No CUDA toolset found Solution: I copied the four files from C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\extras\visual_studio_integration\MSBuildExtensions And pasted into C:\Program Files\Microsoft Visual Studio\2022\Community\MSBuild\Microsoft\VC\v170\BuildCustomizations
@chak5chukcha245 4 ай бұрын
Здравствуйте! При использовании команды "poetry install --with local" у меня возникает вот такая ошибка : at C:\AiWork\localGPT\Lib\site-packages\poetry\installation\chef.py:164 in _prepare 160│ 161│ error = ChefBuildError(" ".join(message_parts)) 162│ 163│ if error is not None: → 164│ raise error from None 165│ 166│ return path 167│ 168│ def _prepare_sdist(self, archive: Path, destination: Path | None = None) -> Path: Note: This error originates from the build backend, and is likely not a problem with poetry but with llama-cpp-python (0.2.23) not supporting PEP 517 builds. You can verify this by running 'pip wheel --no-cache-dir --use-pep517 "llama-cpp-python (==0.2.23)"'. А как решить не заю, помогите пожалуйста!
@user-on4th5vf4y 4 ай бұрын
У меня тоже(
@StanislavEremeev 5 ай бұрын
Если у кого-то не запускается, то проверьте, что бы физическое имя папки совпадало с именем в скрипте. У меня папка называлась PrivateGPT, но в скрипте папка вызывалась privategpt, я 3 часа никак не мог понять. Оказывается скрипт чувствителен к регистру!! Если gpt скормить файл на русском языке то он его не обработает( модель обрабатывает только английский
@ph08nyx 5 ай бұрын
Давно мечтаю установить для личного использования.. Типа собственный ИИ - ассистент. Но чёт заморочено слишком.. Как всегда с этими линуксоидными проектами.. 100500 зависимостей, 100500 пакетов, 100500 конфликтов... А на какой конкретно видеокарте запускался gpt в этом видео?
@camelCased 5 ай бұрын
RTX 3070 8Gb
@Danekzaryazhennyy 6 ай бұрын
При отправки сообщения чату jpt по ссылке localhosta у меня выдаёт след. проблему: error Collection make_this_parameterizable_per_api_call not found Всё делал строго по инструкции и ошибок выполняя команды не было
@takethejunioroutofthelamp 6 ай бұрын
Удалось исправить? Или все еще так же?
@Danekzaryazhennyy 6 ай бұрын
@@takethejunioroutofthelamp не удалось
@arterium2564 5 ай бұрын
@@Danekzaryazhennyy Не нашли решения? Ошибка та же
@Danekzaryazhennyy 5 ай бұрын
@@arterium2564 нет(
@arterium2564 5 ай бұрын
@@Danekzaryazhennyy Ошибка возникает если выбрать модель анализа документа (самую левую или центральную) не подгрузив ни одного документа
@VladimirNerby 5 ай бұрын
12:51 Ребят, это LLAMA
@Fillmore634b 5 ай бұрын
давно мучает вопрос, хочу узнать - сгорит ли видеокарта или компьютер если много пользоваться таким локальным чат гпт? Мне кажется это огромная нагрузка на комп, в железе не разбираюсь.
@ISinicyn 5 ай бұрын
Люди майнили годами 24/7 на видео картах, а тут она вообще ничего не почувствует.
@Fillmore634b 5 ай бұрын
@@ISinicyn да нифига, читал после майнинга карта убитая в хлам (раньше такие продавали на авито после майнинга)
@ISinicyn 5 ай бұрын
@@Fillmore634b еще раз майнили 24/7 годами, тут же нагрузка грубо 10 минут в сутки
@fistjjik 5 ай бұрын
пожалуйста помогите у меня на этапе /poetry install --with ui 8:05 "poetry" не является внутренней или внешней командой, исполняемой программой или пакетным файлом.
@fistjjik 5 ай бұрын
я вроде решил, нашел на одном из сайтов путь к поетри скопировал оттуда файлы в локал джпт и снова запустил эту команду
@takethejunioroutofthelamp 5 ай бұрын
Вам нужно прописать полный путь до poetry
@fistjjik 5 ай бұрын
@@takethejunioroutofthelamp автор привет, спасибо за ответ, а можеш рассказать какой у тебя пк вкратце даже, и еще как идея можете записать про настройку лм студио, я смотрел на русском почти никто нормально не рассказал
@mvsoft-studio 5 ай бұрын
poetry run python scripts/setup почему ошибка command not found, остальное все прошло без ошибок
@QmanKUCHER 5 ай бұрын
пакет CUDA входит в драйвера уже давно, странно что сразу на видео карте не запустилось
@user-jc5ky2ei5l 5 ай бұрын
Так а чем это лучше text-generation-webui так и не понял. Чем то же он должен быть лучше, раз ты на него обратил внимание.
@takethejunioroutofthelamp 5 ай бұрын
Я не сравнивал честно говоря, просто взял первое что понравилось и выдал. Если есть желание сравнить, был бы рад увидеть результаты)
@rusorder7191 6 ай бұрын
Установил, с плясками с бубном.. остановился на том что выдает ошибку если дать ему файл doc : 'charmap' codec can't decode byte 0x98 in position 790: character maps to не понимает кодировку .
@takethejunioroutofthelamp 6 ай бұрын
Тоже наткнулся на такое, когда собрал текст в интернете и закинул в текстовый файл. А вот pdf съел, также съел текстовый файл с кодовой базой
@rusorder7191 6 ай бұрын
@@takethejunioroutofthelamp да пдф открылся, но я так и не понял как он этот файл обрабатывает ?
@user-ll3mn2li7i 6 ай бұрын
@@rusorder7191если ты зайдешь в файл settings.yaml увидишь что у тебя помимо LLM модели, также подключена модель embeddings, твой текст делится на чанки, оцифровуется и добавляется в векторную базу chroma (или какая там стоит по дефолту) и потом когда ты задаешь вопрос LLM модели алгоритм +- повторяется и находится максимально релевантный ответ по твоему вопросу. Если в файле 1.txt было написано что Ване 15 лет и он учится в 9 классе. После запроса в LLM - "Что ты знаешь о Ване", модель ответит тебе информацию из файла. В двух словах происходит вот так
@user-bf8ip1yx6j 5 ай бұрын
А как установить все это на Linux? Мне кажется, было бы очень круто, если бы вы записали такой обзор, наверняка очень многих эта тема заинтересует)
@holy_moleys 5 ай бұрын
в чем разница то
@virusfun 5 ай бұрын
А как обучать то?
@user-wb9tg6wj5y 5 ай бұрын
Здравствуйте. Никак не хочет устанавливаться llama-cpp-python. Пробовал и разные версии ставить. Ошибка. Тем не менее, подписался. С наступающим Новым Годом! P.S. Нашёл решение - нужно доустановить пакер C++ в Visual Studio 2022 Но возникла ситуация, когда GPT работает лучше на процессоре ( i7-12650H), чем на видеокарте (MX 550) и я не знаю как вернуться к использованию CPU.
@alexanderselifonov119 5 ай бұрын
MX550 слишком старая и бесполезна для ML задач. Минимальная видюха, насколько помню, Geforce 20-ой серии, и памяти на карте как можно больше, не менее 8ГБ (многие пишут, что кол-во памяти даже важнее свежести процессора, т.е. GF 3060 с 16ГБ лучше чем 4060 с 8ГБ. Откатиться на режим CPU в крайнем случае можно удалением и переустановкой с нуля, но скорее всего надо где-то один ключик в строке запуска поменять (найти нужный запускаемый файл с конфигом).
@user-os1xg1rh4c 5 ай бұрын
@user-wb9tg6wj5y powershell $env:CMAKE_ARGS='-DLLAMA_CUBLAS=off' poetry run python -m pip install --force-reinstall --no-cache-dir llama-cpp-python exit
@SpiritOfSim 5 ай бұрын
так а какой профит в итоге? )
@tokosotomimo14 3 ай бұрын
не работает. скачал все библиотеки все зависимости cuda и тд. и на самой последеней команде ошибка note: This error originates from a subprocess, and is likely not a problem with pip. ERROR: Failed building wheel for llama-cpp-python Failed to build llama-cpp-python ERROR: Could not build wheels for llama-cpp-python, which is required to install pyproject.toml-based projects потратил кучу времени, переутснавливал 2 раза но эта ошибка так и не решилась
@Dani-nt2jm 5 ай бұрын
Без интернета оно работает?
@romanmed9035 5 ай бұрын
пробую за автором повторять. установлен вин10-64. возможно у автора что-то еще было установлено. у меня ошибка на этапе установки библиотек Installing llama-cpp-python (0.2.23): Failed. даже отдельно устанавливать пробовал но все равно ошибка CMake build failed. и даже vc2017 установил.
@commandergdi9795 4 ай бұрын
PrivateGPT пункт Troubleshooting: C++ Compiler. Автор поленился для простых пользователей, сделав так если у тебя были все эти программы.
@romanmed9035 4 ай бұрын
@@commandergdi9795 спасибо, но я доустановил все и ничего не помогло. возможно все же не все, но что автор упоминал и что оно потом само предлагало, включая распространяемый пакет вижуал си.
@akm_rpg_xakep 6 ай бұрын
Можно ли заставить это гпт искать информацию в интернете?
@takethejunioroutofthelamp 6 ай бұрын
Для этого должны быть еще такие компоненты, которые называются агенты, здесь насколько я понимаю они не предусмотрены. Посмотрите в сторону LangChain
@akm_rpg_xakep 6 ай бұрын
@@takethejunioroutofthelamp а я вот думаю как приделать аваланш к гпт :-) там как раз поисковый ресурс доступный для всех. Аваланш который от Андрея масаловича.
@cellnill 6 ай бұрын
@@takethejunioroutofthelamp Опять агенты смиты)... А так полезно, спасибо земляк, лайк..
@takethejunioroutofthelamp 6 ай бұрын
@@cellnillспасибо)
@ProcXelA 4 ай бұрын
А на АМД робит?
@MSaidu-sj6vx 6 ай бұрын
Видео уникальное! Теперь вопрос: на linux возможна ли установка?
@takethejunioroutofthelamp 5 ай бұрын
Да, в инструкции есть описание установки на linux)
@MSaidu-sj6vx 5 ай бұрын
@@takethejunioroutofthelamp ага!значит мне подойдет!
@alexdaniel76 6 ай бұрын
На GPU AMD это работать не будет?
@takethejunioroutofthelamp 6 ай бұрын
Должно. Это вы про макбук? Если да, то у моего друга работает. Попробуйте для начала просто
@AHToHK 6 ай бұрын
Фрагмент ок. 11:00, где GPT на _Hey_ отвечает _Hello_ - это, похоже, работает "заглушка", а не реальная LLM. В документации по этому поводу сказано: _You should see a Gradio UI configured with a mock LLM that will echo back the input_
@ARKIsaa 5 ай бұрын
Кто эту нейросетку создал и насколько она хуже gpt от openai?
@psiterror999 4 ай бұрын
ru.m.wikipedia.org/wiki/LLaMA
@Lucerbius 6 ай бұрын
Очень интересно. Давно думал о безинтернетном чат GPT. Непонятно только насколько старая версия чата. Громкость звука на видео иногда сильно возрастает. Ну и было бы неплохо акать поменьше, раз в сто.
@takethejunioroutofthelamp 6 ай бұрын
ахах, спасибо за ценные советы) Учту обязательно!
@Justas-jf9hk 5 ай бұрын
А ведь уже должны существовать нейросети, которые убирают дефекты речи, например аканье или картавость
Marusya Outdoors
Рет қаралды 63 МЛН
TheLookin
Рет қаралды 9 М.
Matthew Berman
Рет қаралды 356 М.
ABILITY | 2049
Рет қаралды 3,5 М.
Миша Ларченко
Рет қаралды 42 М.
spline
Рет қаралды 515 М.
Immersed
Рет қаралды 5 МЛН