Спасибо! Ну вот, буду тоже учиться культуре общения с GPT))

Спасибо за теплые слова поддержки!

так это все игрушки. На большом проекте, лучше потратить время на поимание задачи и написание кода, чем на то, как задать правильный вопрос. Это первое. Второе, все эти gpt работают только в проектах уровня MVP. В продакшене совершенно другие требования к качеству. Как эксперимент можно поиграть с моделями, но для продакшена это ещё слишком рано.

​@@user-xd1su3sk3iэто да, но ведь потенциал у этой затеи тоже есть, просто сейчас нейронки сыроваты

Потому что это имеет сомнительную ценность. Здесь получается что никакого обучения на самом деле нет - взята готовая обученная модель и к ней по факту добавлено то что они называют "промт" (Почему это не называть контекстом, по нормальному, не понятно). Установленная модель уже обучена sql. А что делать, если у меня язык, которому она не обучена? Или область знаний, которой она не обучена? По факту обещания разошлись с реальностью. Обещали что можно подгрузить ЛЮБОЙ источник, а по факту свелось всë к "промтам" опять... И нет, если модель ошиблась, то ошиблась. Писать этим код нельзя и будет нельзя до момента пока к нейронкам не прикрутят логический движок с самоиронией и возможностью ругаться матом, когда дают нерешаемые задачи 😁. Оно должно именно понимать, что оно делает, а не пробовать наугад сделать правильно, допуская случайные ошибки. И нет, эти ошибки не похоже на ошибки человека. Человек может ошибиться в мелочах, но при этом иметь верную стратегию решения проблемы. Тут наоборот - код пишется грамотно локально, но как правило не верно в масштабе, т к длина контекста модели конечна, а у человека нет такого параметра в принципе. Он может оперировать любыми "контекстами", в которых есть какая-то логика. Очень просто это проверить при игре в какую-нибудь логическую игру с достаточно большим количеством ходов. Начиная с некоторого хода любая модель будет " плыть" , начнёт ошибаться чаще, пока совсем не начнёт ахинею нести. (Специально заточенные для этой игры сети, типа альфа-го не в счёт,т к там руками добавлена проверка корректности хода. Я говорю об общих моделях, когда их именно самих просят "правила такие, проверяй свои и мои ходы". У человека такой проблемы нет.

В целом русский понмимает, и всегда есть возможность попросить ее перевести то что она только что выдала

@@takethejunioroutofthelamp Имхо, лучше браузерный аддон с гугл транслейтом юзать для таких целей - он лучше переводит.

Аххха) Спасибо!

Хотелось бы попробовать

- "А чем PrivateGPT от LLama отличается?" у LLAMA есть разные модели - и на 7 миллиардов параметров - и на 13 миллиардов - и на 70 миллиардов + по каждой модели можно ужать до 4, 5, 7 бит на параметр т.е. чтобы попробовать модель с 70 миллиардами параметров в 12-8 бит нужен комп с 4 \четырьмя/ 3090 или 4090... с общей памятью в 24х4=96 ГБайт ОЗУ на видяхах.

@@konstantinsamodurov436 Там же есть разные варианты моделей, какие-то в разы меньше той максимальной что вы указали.

Так разве PrivateGPT не работает на основе Llama? Там даже в видео, посвященное установке видно как устанавливаются компоненты llama + его модели. А может быть я что-то путаю

Уже придумано. Codeium (бесплатная, есть платные аналоги)

Чушпанские ответы какие то у нее😅 Пока что не удалось добиться чего то интересного, но я и не уверен что в книге которую я скормил было то, что могло бы ее прям научить. Скорее всего тут надо садиться и самостоятельно составлять обучающий материал

В файле settings.yaml не пробовали строчку менять и пересобирать? Если получится, буду рад если поделитесь результатом)

@@takethejunioroutofthelamp - "буду рад если поделитесь результатом" Делюсь...🤣 - В PrivatGPT используется модель mistral-7b-instruct, как переключить на mistral-8x7b-instruct - она вроде как превосходит chatGPT 3.5" ОСНОВЫ: - в моделе mistral-7b-instruct - 7 \семь\ миллиардов параметров, причем некоторые урезаны - бывает до 4 бит и меньше - в GPT 3 - 170 \сто семьдесят\ миллиардов параметров - в основном по два байта на параметр, но влезает в один сервер с восьмью А100 с 40 ГБАйт на один ускоритель вычислений А100 = всего 320 ГБайт "видео" оперативы (суммарный объем ОЗУ ускорителей ) - в ChatGPT - по не проверенным слухам - 540 миллиардов параметров - вышла через пол года после того, как появились А100 с 80 ГБ на ускоритель = 640 ГБ на один сервер Уже этого достаточно, чтобы понять, что утвтерждение: "mistral-8x7b-instruct - она вроде как превосходит chatGPT 3.5" - НЕ СООТВЕТСТВУЕТ действительности... Для обучения используется порядка 10 000 \десяти тысяч\ серверов в течении полугода... ПС в GPT 4 - по сведениям из одного источника - читай "не проверенные" - в GPT 4 = один триллион семьсот миллиардов параметров - появилась через пол года после выхода H 100 с двумя чипами с 96 ГБ ОЗУ у каждого = 192 ГБ на ускоритель - все те же восемь ускорителей на сервер - часть параметров с двух байт ужимается до одного байта... Так что говорите? Можно закачать себе на ноут???...😂🤣

Жаль мой пост удалили, пишу повторно, и теперь без ссылок. Все получилось, в settings.yaml указал нужную модель и переустановил. Устанавливал рекомендуемую модель 26Gb, работает только на CPU. CUDA выдает out of memory так как модель использует старую версию llama.cpp (подробности гуглить так - CUDA OOM for 6bit Mixtral 8x7B Model on 2x3090) @@takethejunioroutofthelamp

@@alexandrakentyev6040 -"CUDA выдает out of memory так как модель использует старую версию llama.cpp" Вы же сами пишите - "гуглить так - CUDA OOM for 6bit Mixtral 8x7B Model on 2x3090" Из строки гугления видно, что модель с 7 миллиардами параметров, квантизованная до 6 бит (размерность одного (каждого) параметра - из 7 миллиардов - сокращена с 16 бит (два байта)) до 6 бит - можно загрузить на ДВЕ 3090... Для сравнения: - GPT-J от EleutherAI (6 миллиардов параметров) с float16 параметрами требует около 21 GB VRAM - а LLaMA 7B от Meta требует примерно 24 GB (строка для гугления "Как воспитать GPT модель в домашних условиях" А вы установили "модель 26Gb"... Для такой модели нужна связка из двух NV А6000 с 48 ГБ у каждой... CUDA вам и пишет: out of memory - не хватает памяти... а "старая версия llama.cpp" - тут ни причем

@@konstantinsamodurov436 Количество, конечно, переходит в качество, но тут, сдается мне, попытка грубой силой (а-ля брут-форс алгоритм) задавить сложную проблему. Еще я бы сказал, что это путь достаточно тупиковый. Создать сервисы с перспективой брать мзду за пользование можно, но очень быстро окажется что ии уровня gpt3 нужен в каждом пылесосе, а накладны расходы слишком велики. Например, я уже сейчас вижу что ИИ-ассистент должен быть внедрен в каждый современный автомобиль. Да и все эти "умные дома", ни на 1/100 не оправдывают своего названия, пока не будут управляться ИИ. А что такое ИИ по интернету? Чуть что со связью и вссё - свет не включишь, унитаз не смоешь. Ну, это несколько утрировано, но просто для иллюстрации. Всё же или надо оптимизировать как-то (наверняка бОльшая часть этих параметров в итоге "пустые" - не используются или дают нулевой вклад) или нужны специально заточенные под эту функцию чипы. Которые бы стоили НЕ как 8 А100, а как один 3080 хотя бы..

Ахах) Спасибо за поддержку ❤

Не казалось ли вам, что год назад ЧатГПТ понимала вас лучше, чем сейчас? Либо насколько-то раньше. Вот у меня очень веское ощущение, что её специально притормаживают, покуда реально начала постоянно тупить. Ну либо я начал тупить, что вряд ли, скорее всего :) Хотя, всяк возможно.

@@intrigazTV я пользуюсь чатом только пару месяцев как, поэтому не могу проверить вашу идею

​​​@@intrigazTVне показалось, когда только появился gpt, отвечал быстро и релевантно. Сейчас тупит и по скорости и по точности ответа. Ещё постоянно нудит, что в момент его создания такого приложения не было. Тут не могу точно сказать, кажется, ранее у gpt был доступ в инет.

@@user-ik1in6zt4y У chatGPT3.5 точно не было выхода, но даже он давал порой точнее ответы, чем chatGPT4 сейчас.

Добрый день! Мой тг mr_shaimardanov

Я думаю можно, почему нет

В коде зашито что то что делает ее доброй, я думаю можно покопаться и найти

есть unsencored модели, их грузите и просите у gpt все что хотели но не могли сказать в слух

@@RustemShaimagambetov Где скачать?

Нужно только сначала справку у психиатра получить! 😂

Win+V

Это настраивается, и всегда можно попросить модель продолжить свой ответ

Сильно изменят текущий ландшафт разработки Скорее всего в первую очередь под нож пойдут люди, которые были ценны только потому что писали много кода, как правило на основе готовых технических заданий от бизнес и системных аналитиков. В общем надо держать руку на пульсе

@@takethejunioroutofthelamp в общем вместо 10 программистов сейчас нужен будет 1 через пару лет(

@@victor6962 ну человеку он план сейчас составляет легко, и себе сможет

@@user-ql4xu5qu2u Но для этого ей нужно само-осознание. С чего она будет себе таски ставить? Чтобы заработать больше денег? Это для неё пока что ещё ничего не значит, у неё нет таких установок ещё :)

И не только программистов, но и языки программирования. Поскольку ЯП нужен только человеку. Модель может спокойно писать сразу машинный код или байткод виртуальной машины. Остаётся добавить обратную связь, чтобы модель могла сверять результат работы своего кода с заданными требованиями и вуаля - программисты "нинужны". А нужны постановщики задач, умеющие грамотно сформулировать промпт (задание для модели).

Можно

Не факт, что в каких-то странах заблочат такое, понимая сколько пользы это приносит народу

А разве не в этом суть жпт? "Пойди принеси" -- это ж удел простого чат-бота. Не?

Все ради эксперимента

поигратся. и верить, что скоро ого го как ИИ всё поменяет. Правда заключатеся в том, что ИИ может автоматизировать задачи, которые не нужно автоматизировать. Зачем мне тратить время на проверку кода сгенерированного моделью, когда за это время я уже сам напишу код. И это касается всего ТЗ, архитектуры и т.д. Вывод - профи это не нужно, чайникам - не поможет.

@@user-xd1su3sk3i ChatGPT умеет писать за раз достаточно большие куски кода или даже целые программы. Даёшь ей запрос типа: "Напиши программу на python ...." и далее описываешь условия, потом можно детали уточнять и просить переписать отдельные функции и процедуры. Я за такое время за какое мне программу выдаёт модель столько кода не могу написать, она делает это очень быстро. Правда в больших программах там конечно скорее всего будут огрехи и нужно смотреть, но как скелет приложения, она очень даже справляется. Не уверен что прям завтра всех программистов уволят, но я в своей работе ChatGPT использую теперь постоянно, это просто удобно и экономит кучу времени.

@@user-xd1su3sk3iочень странно что ты такой умный и можешь быстро писать код, но при этом дико тупой и не понимаешь что мир изменился и будет меняться еще сильнее

@@user-xd1su3sk3i доля правды в том, что ты говоришь есть. Эти промпты очень тяжёлы в написании. Большой плюс для меня был в изучении базовых линуксовских комманд. Например как поставить внц сервер. Это очень сэкономило время. Но всё, что сложнее, приходилось мучаться и объяснять и не объяснишь. Т.е. как "поисковик" по документации он конечно хорош.