Ollama + Open WebUI : l'IA LLM opensource, gratuite, auto-hébergée et sécurisée sous Docker !

Рет қаралды 28,948

Күн бұрын

Ollama est un projet open source qui vise à rendre les grands modèles de langage (LLM) accessibles à tous. Il fournit un moyen simple de créer, d'exécuter et de gérer des LLM, ainsi qu'une bibliothèque de modèles pré-construits qui peuvent être facilement utilisés dans une variété d'applications.
Ses avantages:
- API simples
- Bibliothèque de modèles pré-construits
- Flexible
- Open source
Aujourd'hui je vous le présente, combiné à une interface graphique nommée Open WebUI !
📱 Suivez moi ! 💻
►lhub.to/GuiPoM
🔗 Les liens et commandes 🔗
► Ollama: ollama.com/
► Open WebUI: openwebui.com/
► Docker compose de documentation: github.com/open-webui/open-we...
► Ollama pour Windows (preview) : ollama.com/blog/windows-preview
📃 Sommaire 📃
00:00 Ollama est un projet open source qui vise à rendre les LLM accessibles à tous
01:00 Le coût des LLM, la sécurité et la confidentialité: Ollama résoud une partie de ces problèmes !
02:20 Exemple d'utilisation: la domotique via Assist de Home Assistant
03:50 Exemple d'utilisation: une aide au développement logiciel
04:50 Dans cette vidéo: déployer Ollama et Open WebUI pour expérimenter sur votre matériel. Il vous faudra quand même de grosses ressources surtout pour les modèles performants.
06:10 On va utiliser encore une fois Portainer et un déploiement via Docker Compose
06:48 Le projet Ollama: github.com/ollama/ollama
07:00 Le projet Open WebUI: github.com/open-webui/open-webui
08:30 On va s'inspirer du fichier docker compose disponible à titre de documentation, composé de deux services, ollama et open-webui
15:25 On déploie les conteneurs et on observe les logs qui indiquent les capacités matérielles détectées
17:45 On accède au server Open WebUI et on crée un nouveau compte local
18:57 Première connexion à Open WebUI et découverte de l'interface: vous ne devriez pas être perdu si vous utilisez déjà ChatGPT
20:45 Ollama et sa bibliothèque de modèles supporté par le projet: installation et utilisation de tinyllama
26:25 l'API Ollama
28:35 On améliore les performances avec l'accélération AVX, AVX2 et surtout Cuda !
31:19 Et en production ? diun, réseau docker, et utilisation du reverse proxy SWAG si on veut rendre disponible ce service sur internet, ou aux autres machines ?
38:20 Vous pouvez tester des LLMs très efficaces comme Mixtral, mais il vous faudra du matériel très performant

Пікірлер: 36

@ixion8666 3 ай бұрын

Vidéo trés intéressante! Franchement j'attends le Jeudi avec impatience, merci pour cette découverte. Hâte de voir la suite concernant l'IA.

@yblisatya 3 ай бұрын

Super, merci, je viens de le mettre en place sur mon serveur, j'ai pu faire tourner des tout petit modèles, et je l'ai aussi testé sur mon macbook M1 pro, où là j'ai pu faire tourner des plus gros modèle, d'ailleurs j'ai pu aussi interfacer l'API de mon ollama local sur mon n8n pour des flux un peu personnalisé :) merci encore pour cette vidéo :)

@m.bouanane4455 3 ай бұрын

Merci pour l'info. Savez-vous si on peut entraîner un ou plusieurs modèles avec des fichiers en local et l'interroger par rapport à ces fichiers ? Merci par avance

@metalrearden97 3 ай бұрын

merci pour cette video. Cela donne envie de tester. Et waow la response sur la question! Chacun sait que la réponse a cette grande question est "42".

@neutrino85fr 3 ай бұрын

Merci ! C'est génial ! Je m'en vais mettre à genoux mon vieux core i7 '^^

@ioio7408 3 ай бұрын

[RESOLU] Merci aussi. Je pose une question à la communauté au cas ou quelqu'un à été confronté au même problème que moi. Le GPU (nvidia4060 en l'occurrence) n'est pas du tout détecté par le docker ollama. j'ai installé le système sur un Win 11 avec Docker Desktop. Tout fonctionne , j'ai mis openwebui, accès par reverse proxy, avec tout plein de models qui fonctionnent, mais sur le CPU. J'ai tellement galéré et besoin de résoudre le problème que j'apporterai la réponse si personne me la donne. ca pourra peut être aider. Habituellement je fais tout sur mon Nas qui existe un peu Grace à toi , mais cette fois ci les performances réclamées nécessitaient que j'installe sur une autre machine, c'est pour cela Win11.

@GeeKeWi 3 ай бұрын

Merci pour cette vidéo, sympa de découvrir un peu plus le potentiel de docker avec toi. +1 pour la vidéo de la gestion des réseaux

@GuiPoM 3 ай бұрын

Peut etre un jour ! 🤞

@Tigres36 3 ай бұрын

Merci pour tes videos !! beau travail !!!

@GuiPoM 3 ай бұрын

Avec plaisir 😊

@christiansalmon3904 3 ай бұрын

Intéressant, je m'étais justement gardé sous le coude une autre video qui parlait de ollama : kzfaq.info/get/bejne/f7CJdpmry56anIk.html avec en UI:, AnythingLLM qui permet d'intégrer ses propres documents. J'avais déjà testé privateGPT en local sur un linux avec GPU nvidia (en installant les drivers cuda) et ça fonctionnait plutôt bien. Pour la partie domotique, sous Home Assistant, il y a un plugin qui existe a brancher sur un GPT local (ou chatGPT) : kzfaq.info/get/bejne/pqd7pK6F0N6ZiGg.html j'ai pas encore testé , ça demande de faire son propre matériel pour la reconnaissance vocal. En tout cas le futur est prometteur, nos assistants vont enfin comprendre des vrais phrases.

@Noshiru Ай бұрын

Salut Christian ! Je me permet de rebondir sur ce que tu dis car je suis actuellement entrain de tester ollama + anythingLLM. As-tu fait d'autres choses depuis ? Dans l'entrainement d'IA surtout je veux dire. Car le but pour moi c'est de trouver une IA open source, de pouvoir lui donner une doc, et via une API d'y accéder et de poser des questions.. :) Merci !

@remitheguik1303 3 ай бұрын

c'est trop stylé vraiment ! :D

@GuiPoM 3 ай бұрын

Merci!

@kristof9497 3 ай бұрын

Merci. Je vais essayer.

@GuiPoM 3 ай бұрын

Bonne chance

@PlaGiatMan 3 ай бұрын

Salut, encore une super vidéo =) ce serait top que tu fasses une vidéo supplémentaire sur le sujet pour expliquer comment utiliser un GPU en détail =D

@GuiPoM 3 ай бұрын

Sur ce type de projet l'intérêt est justement que si la ressource GPU est disponible, elle sera utilisée automatiquement, ce qui rend les choses très simple à configurer. Si un jour je tombe sur une image nécessitant de définir l'accès aux ressources, là oui, mais dans le cadre de cette vidéo j'ai montré ce qu'il faut faire pour activer une carte nVidia.

@fredpourlesintimes Ай бұрын

Dommage que tu parles pas de la génération d'image

@Sanji445 3 ай бұрын

Pour ton NUC, est-ce que tu es capable d'utiliser le iGPU intégré dans ce use case ? Est-ce qu'il y'a déjà un intérêt pour utiliser un iGPU ou pas ? Je pense qu'un iGPU utilise la mémoire partagée du NUC non ?

@GuiPoM 3 ай бұрын

le iGPU intel n'est pas un accélérateur CUDA. On ne parle pas de vidéo dans ce type de situation. Donc ... non !

@Sanji445 3 ай бұрын

@@GuiPoM pardon j'ai mal formulé ma question, je voulais juste savoir s'il existe un moyen de tirer profit d'un iGPU pour du LLM opensource, je présume que non..

@jackbauer322 3 ай бұрын

et pour un deploiement en production autre que local ?

@jbsness5375 Ай бұрын

Merci pour ce partage ! Petite question de débutant comment faire si tu veux update la version de Open WebUI ?, merci.

@GuiPoM Ай бұрын

J'en ai parlé dans une vidéo dédiée aux mises à jour de conteneur docker, ca se fait relativement simplement via pull/up, ou avec l'interface graphique de Portainer.

@jbsness5375 Ай бұрын

@@GuiPoM merci je vais aller regarder ta vidéo !

@dandyiy 24 күн бұрын

comment avoir une version non censuré des modèles ??

@GuiPoM 24 күн бұрын

Quand la variante existe, il suffit de prendre uncensored. Sinon il faut faire l'installation du modèle à la main

@RIPrisitas 3 ай бұрын

Open-WebUI je penses que pour le nom ils ont juste voulu dire que c'est une copie de l'UI de OpenAI

@GuiPoM 3 ай бұрын

Possible !

@Bakitto390 3 ай бұрын

Le cas d'usage 1 est exactement ce que j'attends depuis des années et éviter de partager mes données avec Open Ai

@GuiPoM 3 ай бұрын

👍

@user-vf1bo3tg1l Ай бұрын

sur ollama la webui c'est bof , les réponses tournent vite en boucle , il se répond à lui meme , répète la chronologie de ses réponses à chaque nouvelle réponse , puis bloque beaucoup plus vite que depuis un terminal qui fini aussi par le faire , je viens de tester llama3 c'est une cata . peut etre le template fournis par ollama qui est bof ... je sais pas mais je trouve pas llama3 si ouf que ca du coup ...