Manos a la obra - Chatea con tus documentos de forma 100% local y privada usando GPT4ALL

Рет қаралды 10,748

5 ай бұрын

En este video os voy a guiar paso a paso para configurar el sistema GPT4ALL que permite realizar consultas desde un LLM tipo GPT a tus propios documentos almacenados en el equipo de forma local.

Пікірлер: 74

@RicardoPradovegita21 10 күн бұрын

Lo instalé en mi computadora con Fedora Linux y funcionar sin problemas. Elegí Llama 3 y responde muy bien en español.

@LaHoraMaker 9 күн бұрын

Gracias Ricardo por compartir tu experiencia!

@pedroverde1674 3 ай бұрын

Muchas gracias por darte el tiempo de explicar, quedo clarisimo

@LaHoraMaker 2 ай бұрын

Gracias también a ti Pedro por comentar y compartir tu experiencia.

@fernandofaci 4 ай бұрын

Magnífico tutorial. La instalación ha sido sencillísima. La recomendación en relación con el idioma va a ser muy útil. Pienso agrupar carpetas en local no solo por tema, sino por idioma; de este modo podré refinar las preguntas. Muchas gracias.

@LaHoraMaker 4 ай бұрын

Hola Fernando! Gracias por compartir tu experiencia, será interestante para mucha más gente en el canal.

@josemanuelgalvan1893 5 ай бұрын

Muchas Gracias por las explicaciones

@walterrodriguez2696 5 ай бұрын

Como todos los videos de esta serie es excelente! Seria genial si pudieras hacer un video explicando los conceptos principales de como crear o entrenar un modelo.

@LaHoraMaker 5 ай бұрын

Gracias por la sugerencia Walter, tengo previsto abordar este tema para principios del año que viene, una vez veamos los conceptos de generación de imágenes usando IA generativa.

@JorgeLamaVarela 5 ай бұрын

Pensaba que sería más complicado, pero con tus tutoriales es todo muy fácil ;) Gracias por la info. Me moló el soporte analógico para la explicación, jeje

@LaHoraMaker 5 ай бұрын

De las ocho opciones que he probado esta semana, esta ha resultado ser la más sencilla y compatible multiplataforma. Ahora bien, también es la que ofrece menor flexibilidad en cuanto a los modelos disponibles, las integraciones y la flexibilidad de configuración. Eso sí, es un ¡muy buen primer paso!

@jribesc 5 ай бұрын

Muchas gracias. Una explicación de 10.

@martinreitano5127 3 ай бұрын

Sumamente util y didactico. Muchas gracias!

@ngrodri 5 ай бұрын

Muchas gracias por el vídeo, aportando mucho valor como siempre

@gonzalooviedo5435 3 ай бұрын

Que manera extradidactica de explicar, MUCHAS GRACIAS!!!!!

@aprenderenlinea1330 3 ай бұрын

gracias maestro, lo utilizaré para revisar bibliografías mas rápido para mi tesis

@LaHoraMaker 2 ай бұрын

Gracias por tu comentario. Espero que te resulte muy útil para la revisión bibliográfica. Eso sí, acuérdate de revisar bien las fuentes, que ya sabes que estos sistemas pueden introducir alucinaciones y devolver contenidos que no se adecúan del todo a lo esperado.

@miguelmaravi6050 15 күн бұрын

Buenosdias. Muchas gracias por comparit su tiempo y conocimiento. Me gustaría preguntarle cuantos archivos PDF puede tener la carpeta local de donde se esta realizando la consulta, quiero saber cuantos archivos a ña vez puede analizar, muchas gracias.

@holgerespinola1345 2 ай бұрын

Eres genial, muchas gracias por este consejo, va a ser muy util

@AaronBarreiroBarreiro 4 күн бұрын

Una duda, hay posibilidad de limitar el conocimiento a SOLO lo que subimos en documentos? Porque no soy capaz de hacerlo modificando el prompt que le llega al modelo. Muchas gracias!

@user-wc7em8kf9d 4 ай бұрын

¡Cojonudo! Muchas gracias.

@davidwebchile Ай бұрын

cargue un documento pdf, pero pensé que podría extraer info de el, pero no lo hace. Necesita de un tema generalizado. Gracias por el video

@vitaminservice_ 3 ай бұрын

Maravilla de vídeo! Gracias por claridad!

@LaHoraMaker 2 ай бұрын

Gracias por comentar

@ramspartan117 4 күн бұрын

Como me gustaría que existiera una IA local que hiciera la función de utilizar enlaces web y los analizara directamente, como lo hace la pagina Groq.

@MiguelMartinez-yn8hf 4 ай бұрын

Magnífico vídeo. Una duda sería posible activar el api server y que "el barril" estuviese siempre habilitado y no habilitarlo cada vez que se quiera hacer la pregunta? Es decir desde un frontend chatear con los localdocs de gpt4all. Un saludo

4 ай бұрын

muy buena introducción

@LaHoraMaker 4 ай бұрын

Gracias Pedro el comentario!

@pacollisomasaje 4 ай бұрын

Brutal! Ya tienes un fan

@LaHoraMaker 4 ай бұрын

Bienvenido Paco!

@mrianoabril 29 күн бұрын

excelente felicitaciones y gracias. Me podrias guiar con un duda?, como se puede implementar un servicio que publique una api que via una apikey permita ser consumida por una app de usuarios cerrados y pueda consultar los documentos?

@LaHoraMaker 29 күн бұрын

Dale un vistazo a este vídeo sobre el montaje de este tipo de servicios en modo intranet con varios usuarios: Servidor IA para tu Intranet 100% local usando Ollama y Open WebUI kzfaq.info/get/bejne/rL9dZZuVz86XY2g.html

@drycfullmetall 3 ай бұрын

Gracias muy claro

@LaHoraMaker 2 ай бұрын

Me alegro que te guste! Gracias por comentar!

@DValdes.P 5 ай бұрын

Muy buen vídeo! Sólo tengo una duda, admite documentos con un formato distinto a PDF? Saludos!

@TheRodvin 3 ай бұрын

Me fui a probarlo en cuanto vi que le usabas el orca, bueno use una version mini para probar, y es una gozada como evita contestar en español, como cocinar un huevo duro...

@LaHoraMaker 2 ай бұрын

Quizás tengas más suerte con modelos como Mistral o Flor. Gracias por compartir tu experiencia respecto al uso de Orca.

@andersit0gfx972 17 күн бұрын

una cosa, el otro dia analice gpt4all con un antivirus de confianza y habia sospechas de virus. Como lo ves? Crees que tiene virus

@omarz001 5 ай бұрын

Excelente. Ahora, se podra conectar a una base de datos mysql o postgres, y hacerles consultas? O estoy pidiendo demasiado ????? Saludos

@LaHoraMaker 5 ай бұрын

Justo esta semana pasada acaba de salir un plugin para Semantic Kernel (un framework de IA open source de Microsoft) para conectar con PostgreSQL. Exploraremos esta posibilidad a futuro. Gracias por comentar!

@ajarivas72 4 ай бұрын

@@LaHoraMakeresperando el video

22 күн бұрын

Pero ni el buenos dias responde. Algo que si funcione?

@ttinerfeno 4 ай бұрын

Hola César! En primer lugar darte las gracias por el vídeo. Excelente como siempre! Una pregunta, cuando hago la generación de embeddings tarda bastante GPT4 en obtenerlos de los documentos. Entiendo que es porque usa CPU en vez de GPU. Es posible configurar el programa para que use GPU como se podía hacer an LMStudio?. Muchas gracias! Daniel

@LaHoraMaker 4 ай бұрын

Muchas gracias por el comentario! El tema de los embeddings en GPT4All va bien para documentos que no son super extensos (o que no son un número muy elevado). Cuando está creando los embeddings por defecto utiliza efectivamente la CPU. El programa está pensado para funcionar en cualquier equipo, aunque no lo haga excesivamente rápido. La semana pasada en CES Nvidia anunción Chat with RTX, para hacer un RAG local acelerado con NVidia RTX. Ahí todo debería ir rápidisimo (aunque estoy en lista de espera para el anuncio de la descarga). Más actualizaciones en breve!

@ivonnecheese3578 2 ай бұрын

Hola, muchas gracias por la información, pienso instalarlo, pero antes, me pregunto ¿si le puedo poner a cada chat una base de conocimientos propia, es decir, su propia carpeta? O ¿cada vez que quiera preguntar a un grupo de documentos debo cambiar la carpeta?

@LaHoraMaker 2 ай бұрын

Si se puede. Para ello tienes que etiquetar los documentos por grupos en plan trabajo, notas, podcasts y luego cuando vayas quieras usarlo solo tienes que poner /podcasts o /trabajo y usará esos documentos

@FaRLam 3 ай бұрын

genialll!!! quiero generar un gestor de consultas de las normas iram de dibujo tecnico (argentina), para mis alumnos en la escuela, me podrías dar una mano? gracias por leer!

@LaHoraMaker 3 ай бұрын

Hola Ricardo, ¿tienes un enlace a los documentos con las normas que te gustaría utilizar? Me gustaría darles un vistazo

@AGL0678 3 ай бұрын

Excelente video, muchas felicidades, tengo la duda, una vez hecho esto, como puedo compartir para consultar desde otro dispositivo propio, ósea, si tengo mi máquina de escritorio en casa, me puedo conectar desde mi celular o laptop de cualquier parte a este modelo??, saludos dede México, **nuevo suscriptor

@LaHoraMaker 2 ай бұрын

Hola! Justo hemos compartido esta semana un video sobre cómo montar algo similar para dar servicio a una intranet o red personal. Dale un ojo y para cualquier duda ¡aquí estamos!

@AGL0678 2 ай бұрын

@@LaHoraMaker Muchas gracias, justo me acaba de llegar el aviso de ese video, saludos

@pacollisomasaje 4 ай бұрын

Muchas gracias por tus magníficos vídeos. Estoy intentado hacerlo con mi MacBook con M2 Pro y no me funciona con un documento de 2,8 MB ¿Puede que no funcione en Mac o que el documento sea demasiado grande?

@pacollisomasaje 4 ай бұрын

Me auto respondo. Parece que me equivocaba al no ponerle un nombre a la colección

@LaHoraMaker 4 ай бұрын

Gracias Paco, me extrañaba que no funcionara con un solo documento de pequeño tamaño. Me alegro de que hayas conseguido solucionarlo!

@pacollisomasaje 4 ай бұрын

De todos modos no consigo que responda acertadamente. Por ejemplo, Le pido que me diga algo sobre un término que aparece en el texto como es la palabra "bursitis", muchas veces no la encuentra o la referencia a puntos que nada tiene que ver, o nombra puntos de acupuntura mal con información errónea. ¿puede tener que ver con falta de organización de datos en el pdf tal como lo necesita la ia? ¿cual es la mejor forma de darle datos? ¿CSV, Json? Gracias @@LaHoraMaker

@user-uw3zk2yc2w 2 ай бұрын

Hola. Tu tutorial es muy bueno. Me estoy encontrando con el problema de que cuando hago un prompt a ficheros locales con sbert en la linea de la contestacion el texto sale asi ¿como solucionarlo? !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! pero las fuestes por lo menos son legibles... 1. By Pedro Amorim Lopes. Date: 2024, January 26. In T-2022_Implementação de metodologias BIM em departamento de projeto aplicação a um caso de estudo_Pedro Amorim Lopes.pdf. Page 54. Context 2. By João Antunes. Date: 2024, January 30. In T-2013-Interoperacionalidade em sistemas de informação-João Manuel Pimentel Antunes.pdf. Page 89. Context 3. "Microsoft Word - PG38880_ TAÍS-CORREÇÃO-JUN22". By WB. Date: 2023, October 12. In t-2022-BIM caracterização da evolução da oferta curricular e da produção científica, em Portugal Tais Sales Wanderley.pdf. Page 24. Context

@LaHoraMaker 2 ай бұрын

¿Te pasa lo mismo con todos los modelos?

@user-uw3zk2yc2w 2 ай бұрын

lo he reinstalado. Tengo el modelo sbert cargado para trabajar con documentos locales pero cuando voy a cargar el modelo no me aparece en el listado

@user-uw3zk2yc2w 2 ай бұрын

Los otros modelos funcionan pero mi objetivo era de trabajar con documentos locales. No veo otro modelo que permita eso en el listado. ¿tienes alguna sugerencia? Gracias

@jaumet Ай бұрын

A mí me pasa lo mismo, pero con Sbert. He probado GPT4all Falcon y ese si que ,e lo deja escoger. Si niro en la carpeta donde bajo los modelos, veo que para Sbert ha bajado: all-MiniLM-L6-v2-f16.gguf embeddings_v0.dat localdocs_v1.db No entiendo qué passa. Uso Linux Mint (basado en Ubuntu) Mil gracias!! @@user-uw3zk2yc2w

@mariacamilaortizcastaneda8435 2 ай бұрын

¡Hola! ¿Hay alguna forma de trabajarlo en colab?

@LaHoraMaker 2 ай бұрын

Hola María, dale un vistazo a este repo! github.com/Luxadevi/Ollama-Colab-Integration

@angelgutierrez809 27 күн бұрын

Lo he probado y no me funciona

@Noctis-uv8gv 5 ай бұрын

performa mejor que el hermes?

@LaHoraMaker 5 ай бұрын

Gracias por la pregunta @noctis-uv8gv! GPT4All soporta múltiples modelos por defecto. Entre los modelos disponibles está nous-hermes-llama2-13b.Q4_0.gguf. Hay versiones más recientes como openhermes-2.5 que tampoco no están incluidos, pero que seguramente se ofrezcan también en breve.

@Noctis-uv8gv 5 ай бұрын

Gracias por responder, era ese mismo al que me refería, perdón la falta de contexto, esperando con ansias el openhermes 2.5 :D ! feliz día @@LaHoraMaker

@CodigoMundial Ай бұрын

Los resumenes que dan son muy recortos digamos que solamente da ideas principales con respecto a un resumen del dcto

@rodrigoormenojabonero5035 3 ай бұрын

No me funciona, el combo de arriba no me sale por lo q no puedo elegir el modelo que quiero. Alguno más le pasa???

@AaronBarreiroBarreiro 3 ай бұрын

A mi me pasa lo mismo

@LaHoraMaker 2 ай бұрын

Hola Rodrigo, esto puede ocurrir si no has descargado ningun modelo. Para resolverlo, dentro de las opciones de configuración tienes que seleccionar modelos y allí descargar alguno de los que aparecen disponibles. Una vez tengas el modelo descargado debería aparecerte en el desplegable.