¿Que hardware estás utilizando para correr llama tan rápido? Gracias!

@@MrJeeoSoft Procesador: AMD Ryzen 7 4800H with Radeon Graphics GPU: NVIDIA GeForce RTX 2060 Memorias: SSD: 953GB (con 472GB usados) HDD: 931GB (con 98GB usados) Estas son las características de mi laptop. Pero ya te digo que solo corre llama, modelos como Gemma ya van más lento

​ @charlytoc132 Muchas gracias por tu respuesta! Claro, creo que a mi laptop le hace falta una placa de video, porque no consigo esa velocidad localmente jaja

@@MrJeeoSoft puede ser, la verdad es que correr modelos localmente requiere de ciertos requisitos mínimos de hardware (de momento), computadoras de última generación que ya vengan con chips NPU y procesadores más adaptados para IA van a ir mejor. Ya quiero echar mano a una nueva laptop que tenga estas características

Hola amigo crees que me corra bien en un ryzen 5 5600g es solo la APU? GRACIAS

@@martin_perez puedes contarme sobre tu proyecto y así lo tomo de inspiración 👌🏻

@@martin_perez o tus dudas, más bien

@@charly.sensei dame tu correo para escribirte.

correcto

¿Has probado hacerlo por tu cuenta? Podrías pedirle que retorne un JSON con las características que necesitas y usar el response_format="json" Aunque la verdad Lllama-3-8B no es lo mejor para usar tools

@@Matiiiii-2024 He pasado unas semanas inactivo por algunos asuntos personales, pero ya es hora de empezar a hacer más vídeos

@@Matiiiii-2024 ¡muchas gracias por comentar!

@@charly.sensei a tu tiempo bro, queria preguntar si podrias hacer algun video para conectar todo esto con una GUI para poder hacer consultas, y de que forma puedo hacer consultas para corroborar si el chromaDB esta trabajando con los embeddings?

@@Matiiiii-2024 hice otro vídeo con otra interfaz, puedes usar muchas cosas dependiendo del lenguaje de programación que manejes. Si trabajas con Python y FastAPI, por ejemplo, podrías despegar una aplicación de React en una de las rutas como Staticfiles, si usas Node puedes usar el mismo approach, si no te sientes cómodo con React puedes usar cualquier otro framework para frontend o HTML puro.

@@Matiiiii-2024 y con respecto a la segunda pregunta, cuando solicitas información a Chroma, te da más información de cada vector aparte de su contenido. Y en la documentación también hay métodos para saber cuántos vectores se han agregado en tu base de datos vectorial. ¿Lo que quieres es asegurarte de que estás usando ciertos vectores en particular?

En lo que más me fijaría sería en el tamaño de los documentos. Un buen prompt te puede servir con cualquier modelo, pero en este caso si el documento es muy grande, te recomendaría modelos con un amplio contexto como Claude o GPT-4o, tambien podrías usar la API de Groq para usar Llama 70B pero el contexto de este es de 8 mil tokens, que te bastan para muchos documentos, pero no para todos. Entonces eso, si son muy grandes, modelos con amplio contexto (o también podrías picar el documento para que queda en el contexto de modelos más pequeños). Por otro lado aunque el contexto de entrada sea infinito, el output no, muchos modelos están restringidos a 4k tokens, entonces te vas a encontrar en que le pasas un documento gigante y te da solo una parte. Te recomendaría en ese caso que pienses tu lógica para solventar esta limitación orquestando las llamadas necesarias a la API para e ir concatenando el documento nuevo poco a poco. Para mayor velocidad te recomendaría ahora sí Groq que tiene una velocidad de inferencia brutal, y estoy seguro que Llama 70B puede entender una tarea para esta, además que te saldrá más barato que OpenAI o Anthropic. ¡Mucho éxito en tu proyecto! Si quieres ver cómo usar Groq mira un vídeo que hice que tiene un template con FastAPI + React y Groq

@@charly.sensei muchas gracias por tu respuesta, hice pruebas con spacy pero no es suficiente no detecta bien los nombres, tal vez has usado spacy_llm?

No realmente, eso sí, yo consideraría usar Groq, una API que usa LPU para aumentar la velocidad de generación y usar Llama 3 70B si es un proyecto que quieres para usuarios, ya que Llama 3 8B puede a veces responderte en inglés incluso si le pides que te hable en español. Cosas que se pueden hacer: modificar el prompt para que sea en español. Con respecto a los documentos, pueden estar en cualquier idioma realmente

¡Me gusta que haya gente que está empezando! De hecho estoy haciendo vídeos (aunque son para la empresa que trabajo) de Python, Javascript, HTML y CSS, luego quiero subir cursos acá también pero bueno, realmente trabajar de desarrollador y hacer videos puede ser algo demandante de tiempo, ¿qué estás estudiando?

Hola @@charly.sensei , muchas gracias por tomarte el tiempo para responderme. Estoy estudiando tec en programacion, empecé la carrera este año, a mi me gustaria saber y ver cómo es tu forma de resolver un requerimiento de programación con algún ejemplo básico. No hay muchos videos con esas temáticas. Segui con esta forma de hacer los videos, tenes un diferencial con otros devtubers, te felicito!!!

@@diegoserlini6798 ¿qué es lo que sueles ver? ¿Qué tipo de cosas te gustaría que resolviera? Algo que realmente me interesa es ver lo que les gusta a las personas que comentan, eso es lo que al final hace crecer a una comunidad y lo tomo mucho en cuenta

@@charly.sensei recien estoy comenzando con programación funcional utilizando diagramas de flujo. Tus videos son muy buenos, pero siento que me falta la parte en donde se te ocurre la idea y todo el proceso de iniciar un proyecto. Estuve viendo otro youtuber en ingles que empezó el challange de 100 días programando y explica la forma de encarar cada uno de los problemas. Espero que te sirva. Gracias x todo el tiempo que invertís para compartir tus conocimientos.

@@diegoserlini6798 creo que debería hacer videos programando y no tanto mostrando proyectos a ver qué pasa

¡Concuerdo completamente! De hecho he estado pensando en iniciar una empresa de desarrollo de software e implementación de soluciones con IA donde vivo porque aún no existe y tendría una ventaja competitiva, pero aún no he desarrollado suficiente la idea, este comentario me anima a darle un poco más de atención a la misma, uno debería aspirar a ganar más y ser tu propio jefe

@@charly.sensei Suerte. Las empresas le gustan tener el control de sus propios datos, y que el resultado lo perciba como propio, eso los grandes no se lo pueden dar. Hay un gran nicho de mercado y como en todo tienen que percibir que si invierten le retornará un beneficio de cualquier tipo.

¡Qué bueno que te haya gustado! Justo hoy, en unos minutos, sale otro de una app fullstack con IA, en este caso se incluye una interfaz de usuario con React, y hay un servidor con FastAPI como el que existe en este proyecto, ¡échale un ojo para que aprendas cosas nuevas!

@@pacashanaya ¡así es! Realmente hacer aplicaciones con IA no requiere mucho código. La mayor parte del código se va en el resto de la aplicación.

@@charly.sensei , ajam además con un framework para web, te generas un chat bot con tus datos, le abres el puerto y listo, casi contrario lo conectas con un chat bot y también es otra locura.