Tu propio Chat GPT localmente y Gratis

No video

Tu propio Chat GPT localmente y Gratis - con Ollama y OpenWebUI

Рет қаралды 19,325

Күн бұрын

Asi como tenemos modelos inteligentes como GPT de OpenAI, tambien existen otros modelos que son Open Source y podemos instalar en nuestro propio computador para tener nuestro propio ChatGPT, sin que use internet y completamente gratis, esto gracias a programas como Ollama que nos permiten instalar facilmente multiples modelos inteligentes y a programas como Open WebUI que nos permiten tener un chat similar a ChatGPT e incluso con mas caractersiticas como el poder usar multiples modelos a la vez, o intercambiarlos ademas de poder guardar nuestros chats, subir archivos o usar nuestros datos que tenemos en nuestro computador
Instalación de Docker en Windows • Docker, Instlación en ...
Instalación de Docker en Linux • Docker, Instalación en...
⭐ Cursos Recomendados
Curso de Nodejs ⮕ fazt.dev/nodejs
Curso de Python⮕ faztweb.com/py...
Curso de React ⮕ • Curso de Reactjs desde...
Curso de Nextjs ⮕ • Curso de Nextjs desde ...
Curso de Javascript para React ⮕ • Javascript para Aprend...
🎒 Servicios Recomendados
SiteGround ⮕ bit.ly/31u9ZEk
Railway ⮕ railway.app?referralCode=fazt
Namecheap ⮕ namecheap.pxf....
DigitalOcean ⮕ m.do.co/c/8ef2...
🎒 Otros Servicios
Ledger ⮕ (Hardware Wallet) bit.ly/3ijsVNW
Cloudinary ⮕ bit.ly/3ohNlJ7
Notion ⮕ affiliate.noti...
🗣 Redes Sociales
Github ⮕ github.com/fazt
Twitter ⮕ / fazttech
Discord ⮕ faztweb.com/so...
Puedes encontrar la lista de tutoriales de Nodejs en:
faztweb.com/ia
#ollama #llama3 #chatgpt #gpt #openai

Пікірлер: 88

@fcomosan 3 ай бұрын

Te las mandaste Fatz. Con ansias de que salga el autocomplete, ahi si que la va romper ollama.

@DEIVIDSUPR 3 ай бұрын

Parecido a copilot o amazon whisper? si es así, va a ser bestial

@edwinspiredev4930 3 ай бұрын

Tengo ollama en mi Linux, con 16G de ram funciona medianamente bien en velocidad. Es genial tener una propia IA en casa. Aunque el cpu suele irse al 100 cuando está respondiendo a una pregunta.

@antonioaragones2891 3 ай бұрын

usas gpu para la generación de respuestas?

@edwinspiredev4930 3 ай бұрын

@@antonioaragones2891 no, solo cpu

@d.r1775 3 ай бұрын

@@antonioaragones2891 si usa la GPU

@4l3dx 3 ай бұрын

Phi-3 que salió recién está bueno, no tengo gpu en la laptop y va bastante bien

@edwinspiredev4930 3 ай бұрын

@@antonioaragones2891 no, solo cpu

@Foo678 3 ай бұрын

por la interfaz parece que tambien se puede usar audio, buen video

@inteligenciafutura 3 ай бұрын

por otro lado tu canal siempre me ayuda mucho.

@inteligenciafutura 3 ай бұрын

para terminar te doy las gracias, eso de combinar modelos el resultado es muy bueno, acabo de hacer un aplicativo complejo en cuestion de minutos, en realidad esto cambia el panorama

@alejandrojlaeo 3 ай бұрын

Un aplicativo que hace uso de esto ? O realizaste un aplicativo con ayuda de varios modelos?

@inteligenciafutura 3 ай бұрын

@@alejandrojlaeo llama3 con mistral y hoy le estoy haciendo ya la parte grafica

@Angel-gc1zp 3 ай бұрын

Manda tuto🥹

@inteligenciafutura 3 ай бұрын

@@Angel-gc1zp por ahora tengo el de como comunicarse via API, voy a hacer uno de como entrenarlo mediante RAG de forma que no tenga tantas alucinaciones ya que el modelo si tiende a alucinar

@Giozar04 3 ай бұрын

Fazt podrías hacer un vídeo más a profundidad y dónde expliques cómo usar los modelos con el GPU?? y otras configuraciones

@mwmg704 3 ай бұрын

Gracias por el video :D

@DanielAcosta 3 ай бұрын

¡Gracias!

@miguelangelmarcos 15 күн бұрын

Hola, podrias indicar caracteristicas minimas de hardware para un funcionamiento aceptable?

@edwinspiredev4930 3 ай бұрын

He buscado como cargar un archivo a ollama para poder extraer información de él pero no he encontrado. Igual he buscado tambien algo parecido a "functions" pero tampoco hay. Para iniciar con algo privado en casa ollama es mas que suficiente

@Alex29196 3 ай бұрын

Hola, funciona el texto a voz?

@martinfloresdev 3 ай бұрын

Genial hermano, acabo de seguir tu ejemplo y funciono 100%

@inteligenciafutura 3 ай бұрын

no he instalado la interface grafica aun pero lo otro ha funcionado y es relativamente facil de instalar y probar, le pregunte de react con redux y respondio bien, le pregunte de unity y codigos de ejemplo y fue buenas las respuestas, este modelo promete mucho falta ver si uno lo puede entrenar asi sea por medio de langchain

@inteligenciafutura 3 ай бұрын

como dato adicional esto tienen un potencial muy alto

@fir3flyshaitan 3 ай бұрын

Consulta, puede hacer que conteste con tu propia base de datos?

@Osdamart Ай бұрын

A mí me da curiosidad si se pueden hacer cosas alocadas con Ollama de manera interna.

@oscarcano184 Ай бұрын

a mi no me sirve dice que cuando lo descargo se habre una terminal a mi no me abre

@lucianocosta4062 3 ай бұрын

Podes hacer proyecto de nextjs más completos . No solo CRUD . UN PROYECTO MAS COMOETO COMO PAGINA DE INGORMACION CON RUTAS DIMAMICAS O ECOMERCE o un gestor de turnos

@mauriciofernandez669 3 ай бұрын

Hola, te recomiendo el curso de @fernandoherrera, vale 10 dólares. Pero tiene lo que pides.

@ivanaburto5164 3 ай бұрын

Pagaria por eso...

@Ross17 3 ай бұрын

Tienes que pagar

@lucianocosta4062 3 ай бұрын

@@Ross17 ya soy premium. Si es por mi pago más por ese servicio

@Ross17 3 ай бұрын

@@lucianocosta4062 no me referia a este canal, me refiero a que esos cursos puedes tomarlos en otras plataformas

2 ай бұрын

Hola, instale bien Ollama y luego open web ui , pero luego de correr localhost:3000 y abrir la interfaz gráfica, no me carga ningun modelo . Ya cargué vía "ollama run mistral" el modelo Mistral pero aun asi no lo reconoce. Además reinicié docker para poder aplicar cambios, pero no tengo resultados. Alguna idea de lo que puede estar sucediendo? Gracias.

@marioalbornoz7319 2 ай бұрын

me paso lo mismo, lo solucionaste?

@arielass11 3 ай бұрын

Coonsulta a ver si no estoy equivocado.... Podria tener el modelo con un promt y documentos propios y que reponda solo consultas de esos documentos??? Gracias a quien pueda ayudar con la repuesta....🥃🥃🥃

@lautarotomaspairuna9529 3 ай бұрын

Hola Fazt, en tu anterior video sobre implementar Llama 3:8b en visual studio code mencionaste que esta IA utilizaba la GPU para poder correr... Pero a la hora de aplicarlo me di cuenta que utiliza mas el CPU y la memoria RAM mas que la misma GPU Sera por una mala configuracion?? O es por que nativamente ya funciona con el CPU y la RAM??

@ByFrank98 2 ай бұрын

es la primera vez que veo tu canal, muchas gracias por este gran tutorial y me gustaría saber como tienes el terminal de esa forma xd

@mauriciocorrea6607 3 ай бұрын

Yo tengo un problema, el open WebUi no me reconoce ninguno de los modelos descargados, ¿Que puedo hacer en esos casos?

@publicwolf 2 ай бұрын

Excelente video, te ganaste un suscriptor. Muchas gracias. Solo un par de dudas por favor, si no es molestia. Luego de instalar Ollama, un software de protección de mi máquina me envío un mensaje que un software posiblemente mal intencionado intentó cambiar mi DNS. ¿Es normal ese comportamiento de Ollama? y la 2da. ¿cómo hago para utilice GPU AMD en vez del CPU? Muy agradecido. ☺

@toied0 15 күн бұрын

Tienes que instalar Ollama pero para ROCm y tener en la maquina ROCm instalado tambien

@tomasvi2953 3 ай бұрын

A diferencia de Chat GPT, Ollama no tiene problemas con la ética y demás? Ya que muchas veces toca replantear la pregunta a Chat GPT por lo limitado que está en cuanto a ciertas automatizaciones y demás.

@mrtembo1995 2 ай бұрын

Pudieras hacer un tutorial de como correrlo en cloud? Tengo una cuenta en Lightning studio AI y logro correr todo pero no me aparece ningun modelo cuando lo intento seleccionar :/

@joancermeno5971 3 ай бұрын

Que hardware se recomienda para éstoe modelo de lenguaje ?

@carlosquirozvega1187 Ай бұрын

como puedo acceder al servicio por medio de mi ip, es decir que desde otra pc pueda enviar la pregunta al asistente por medio del metodo POST, localhost:11434/api/chat, funciona bien, pero si desde postman remoto en mi misma red, me dice connection refused (192.168.1.2:11434/api/chat)... ya se esta ejecutando el comando ollama serve

@johanzunigacordova2492 3 ай бұрын

Hola, como puedo obtener el dataset generado desde el archivo PDF que he subido? Muchas gracias, un subscriptor más.

@salomonjedidias 3 ай бұрын

Otro!!! Genial 😅

@PedroVerdes 3 ай бұрын

Gracias muy util

@takemyhandarg.3023 3 ай бұрын

Hola Fatz podrías subir una implementación de Atlas Search y Vector Search de MongoDB, saludos : )

@juanbetancourt5106 3 ай бұрын

Hola, se ve muy interesante, cuáles son los requerimientos mínimos de ram para ejecutarlo en local? necesita GPU? por favor considera un video de portátiles recomendados para ejecutar estas aplicaciones de inteligencia artificial que van saliendo en el mercado.

@alejandrojlaeo 3 ай бұрын

X2 no requiere GPU?

@tiposamuel 3 ай бұрын

Damn Fazt, la velocidad de bajada que tienes JAJAJAJA a mí me tomo 10 min descargar el modelo de Llama3 con mis humildes 11mb/s.

@pyromiko 2 ай бұрын

Que placa de video se recomienda?

@martinvalenciaalejo523 3 ай бұрын

hola y muchas gracias por el tutorial, esto me evita pagar el servicio de chatgpt hehe, sabes tengo 2 GPUS y cuando corre Ollama, consume recursos de las 2 gpus, me gustaria limitarla a una sola GPU, donde puedo configurar esto?, saludos

@NeoFalangistaPR 3 ай бұрын

Buen video hermano pero se podrá instalar todo eso en un dispositivo móvil o hacer una app?

@Programadork100 3 ай бұрын

bravo me gusta

@pumpbit11 3 ай бұрын

supongo que puedo montarlo en mi propio servidor cierto? y tenerlo en la web

@Diiego37 3 ай бұрын

Se puede crear un api local que consulte llama3?

@inteligenciafutura 3 ай бұрын

teoricamente si, yo estoy tratando de hacer eso tambien para poder mas bien desplegar esto en una instancia de aws

@arielass11 3 ай бұрын

@@inteligenciafutura si lo logras o sabes cómo hacerlo ....seria un golazo!!! Avisa si se puede llegar a realizarse....por favor saludos 🥃🥃🥃

@inteligenciafutura 3 ай бұрын

@@arielass11 ya descubrí como hacerlo mañana hago un vídeo del proceso

@arielass11 3 ай бұрын

@@inteligenciafutura genial!!! Muchas gracias por la info ...me paso por el Canal....🥃🥃🥃

@Diiego37 3 ай бұрын

@@inteligenciafutura genial! Yo también estaré pendiente del video que crack

@Alex29196 3 ай бұрын

no corre en cuda nvidia

@user-sx8cx5pd2d 3 ай бұрын

Fazt hay otra alternativa para descargar ollama y llama3 8b , soy de Cuba y no tengo a la descarga por el powershell ni al sitio en general de ollama

@rhengo5550 3 ай бұрын

Utilizar una vpn no te serviría?

@someday6 3 ай бұрын

Usa VPN colega

@user-sx8cx5pd2d 3 ай бұрын

@@rhengo5550 si la descarga fuera desde el navegador si , pero no es el caso

@LuxuNick27 3 ай бұрын

pregunta, para que quisiera descargarlo si ya hay hugging face ?

@FaztCode 3 ай бұрын

Es otra opcion, pero hay algunos que quieren mantener el modelo ejecutando en su maquina para que pueda funcionar sin internet, o pueden cargar cuqluier dato sin sensura.

@LuxuNick27 3 ай бұрын

@@FaztCode gracias, tienes por cierto discord o alguna comunidad de programadores o de IAs ?

@neoriddle 3 ай бұрын

Saludos

@JoseRodriguez-fi3ui 3 ай бұрын

me va muy lento, que puedo hacer

@FaztCode 3 ай бұрын

Hola Jose, el tema con esos LLM es que requieren mucho hardware de momento. Te dejo un enlace donde detallo los requerimientos: kzfaq.info/get/bejne/psB3oJB3uazFaas.html

@JoseRodriguez-fi3ui 3 ай бұрын

@@FaztCode muchas gracias

@FranMore_Dev Ай бұрын

consume cpu o gpu? 😮 xq tengo una gpu desocupads para armar algun juguete 😂❤

@AdriGomezD 3 ай бұрын

Genial! ¿como se puede instalar esa terminal que tienes?

@FaztCode 3 ай бұрын

aqui hay un tutorial: kzfaq.info/get/bejne/mp-pY89o3r-YYGg.html

@manolomaru 3 ай бұрын

✨👌😎😎😎👍✨

@steventabango4790 3 ай бұрын

espera, la inteligencia artificial es portatil? He aqui la evidencia.

@inteligenciafutura 3 ай бұрын

y en el contexto y en los tokens tiene algun limite?

@inteligenciafutura 3 ай бұрын

bueno me autorespondo ajjajaja porque le pregunte al modelo y me responde esto Excelente pregunta! Como modelo de lenguaje basado en inteligencia artificial, mi capacidad para entender y responder preguntas depende del tamaño del contexto en que se encuentra la conversación. En mi caso, mi contexto tiene un límite aproximado de 2048 caracteres (alrededor de 350-400 palabras). Esto significa que puedo procesar y responder a preguntas que contienen hasta ese número de caracteres sin problemas. Si la pregunta o respuesta supera este límite, puede ocurrir que mi capacidad para entender y responder se vea afectada. En estos casos, es posible que no pueda proporcionar una respuesta completa o correcta. Sin embargo, es importante destacar que mi contexto es dinámico y puede adaptarse a las necesidades de la conversación en tiempo real. Si es necesario, puedo procesar información adicional para responder a preguntas más complejas o largas. En resumen, mi límite de contexto es aproximadamente de 2048 caracteres, pero mi capacidad para adaptarme a las necesidades de la conversación sigue siendo una fuerza muy potente!