Отпустил нейросеть в интернет. Вот что получилось. Вызов функций, агенты. Веб поиск

Рет қаралды 4,181

18 күн бұрын

Я покажу и расскажу свой опыт подключения локальной бесплатной нейросети к интернет поиску.
Я попробовал несколько инструментов на примере лучших бесплатных нейросетей и нашел работающее решение. AnythingLLM в комбинации с command-r успешно выполняет веб поиск.

Пікірлер: 28

@codedd3280 16 күн бұрын

все ссылки по теме видео в телеграм: t.me/+zTcoFHq7i9AyMWM6

@suneroz 6 күн бұрын

Подскажите пожалуйста, какую цель вы преследовали? В двух словах?

@suneroz 6 күн бұрын

Очень умный проект, Спасибо!

@suneroz 6 күн бұрын

То есть вы хотели локальную модель AI подключить к Интернету, чтобы она могла отвечать на любые вопросы с учетом самой актуальной информации из Интернета? Но ведь для этого нужен очень толстый канал Интернет, и чтобы модель обучалась в реальном времени на основе анализа контента, но для этого нужны гигатские мощности. или чтобы умно проходила по ссылкам, ища правильный ответ, задействуя только локальные ресурсы обычного домашнего компьютера, тогда наверное программить нужно, хотябы сценарии, как у Вас алгоритм на картинках. Значала вопрос, потом AI формулирует запрос к поисковику, потом получает ответы, смотрит ответы, если они AI кажутся недостаточными, формулирует новый запрос, пока не получит ответ, который сочтет достаточно правильным, чтобы показать его Вам. А какая модель локальной бесплатной AI по Вашему мнению наиболее приближенные к человеческому общению ответы выдает? Я с Llama 3 Instruct работаю

@user-lo5sh4ss6o 14 күн бұрын

любая нейронка работает на информации. так что можно скачать всю инфу. желательно в тексте. потом сжать текст на 90% и обучать на этом. затем удалять старую инфу и качать новую. нейронка сохраняет старую инфу ещё сильнее сжав струю инфу в собственные слои. пробуй если понял.

@mux8717 16 күн бұрын

Добрый день. Подскажите пожалуйста, а какие у Вас настройки LM Studio? (имеется ввиду "Frequency Scale" и другие).

@alexandr-spb 15 күн бұрын

Вам можно заказать настройку такой модели? и можно ли модель научить различать голоса?

@user-ui9dw9ku7u 15 күн бұрын

Я тоже немного копал в эту сторону, я не нашёл эти решения - спасибо, я начал копать в сторону Ollama и cat-ui. Cat-ui как чат для LLM такое себе, но в качестве написания бота неплох, все пишется на python - что даёт неплохую мобильность и можно писать свои решения и скрипты, но приходится чучуть копаться.

@berdkivi9023 15 күн бұрын

Так а что получилось то в итоге? ) ... На видео вы показали процесс подбора и тестирования различных нейронок и все. Но какие именно задачи они должны были решать и как они с этим справились вы не показали. Надеюсь, в следующем видео это все будет разъяснено.

@user-ug5op1cf8i 15 күн бұрын

В итоге стало ясно, что модель Command-R использует поиск для выдачи актуальной и новой информации в интернете, что весьма ценно

@rvsn82 6 күн бұрын

Command-R на LM Studio отказывается скачивать

@MikeMike-zf9up 16 күн бұрын

Здравствуйте. Расскажите какой апгрейд? Видеокарта новая? Какая у Вас была и какую Вы купили?

@codedd3280 16 күн бұрын

Здравствуйте. Была tesla, купил 4090. Но это конечно и с запасом на будущее, цены растут, решил купить пока была возможность. Хочу на тему железа снять отдельный ролик, есть что рассказать.

@BuhGalteriaDizel 16 күн бұрын

@@codedd3280 Да, было бы отлично.

@romanioamd5319 15 күн бұрын

@@codedd3280 я купил бу 3090 вместо 1080ti она у меня три года проработала, заменил ее. Я правда еще рисую c помощью нейросетей там важен размер памяти и скорость работы по сути как и с любыми моделями нейросетей. Кто бы что не говорил, а 3090 занимает второе место топ второго покаления после 4090, по памяти они равны, остальные модели видеокарт кастраты их не стоит кроме этих двух либо 4090 либо 3090 покупать. Лучше на лишние деньги докупить оперативной памяти. Тем более цена 3090 была всего от 750-850 евро очень дешево цена подъемная все-таки это не более 2000 тыс евро как за 4090, 3090 в свое время так дорого стоила.

@romanioamd5319 15 күн бұрын

я купил бу 3090 вместо 1080ti она у меня три года проработала, заменил ее. Я правда еще рисую c помощью нейросетей там важен размер памяти и скорость работы по сути как и с любыми моделями нейросетей. Кто бы что не говорил, а 3090 занимает второе место топ второго покаления после 4090, по памяти они равны, остальные модели видеокарт кастраты их не стоит кроме этих двух либо 4090 либо 3090 покупать. Лучше на лишние деньги докупить оперативной памяти. Тем более цена 3090 была всего от 750-850 евро очень дешево цена подъемная все-таки это не более 2000 тыс евро как за 4090, 3090 в свое время так дорого стоила.

@silentage6310 14 күн бұрын

@@romanioamd5319 тоже после 1080 выбрал 3090 изза памяти. + не такая доррогая можно купить вторую и будет уже 48гб памяти. а это уже гораздо веселее для LLM. только для фоток конечно можно и попроще даже.

13 күн бұрын

Посмотрел на перемотке и понял, что ничего не понял... Во-первых, что за 4х битные модели? Это вроде Денди и Сега Мегадрайв разрядностью процессоров мерялись... Если в названии AI модели есть что-то типа 4b, то это количество ее параметров, например, 4 миллиарда. Что касается доступа к API гугля, то он самой модели и не нужен. Сделайте запрос к API в коде своей программы/скрипта, получите результат и скормите его AI, как часть промпта.

@codedd3280 13 күн бұрын

видимо нужно в каждом видео подчеркивать важность контекста материала в рамках канала. Для постоянных зрителей здесь нет новой информации. Я стараюсь давать материал с постепенным усложнением и азы я рассказал в начальных роликах канала. Про апи гугла без комментариев.