Merci ! C'était un plaisir d'avoir un témoignage de première main.

Merci 😀

Bon et bah, ça met la pression pour les prochaines vidéos 😄

Merci et bienvenue 😀

Bonjour Didier 😀 et oui, le point de vue de quelqu'un du métier est tout de suite plus nuancé et riche. Mais ça fait moins le buzz qu'une vision idéalisée 👼, ou à l'opposé, cauchemardesque 👹

Effectivement! J'avais en tete la RTX 5000 ADA 32GB, laquelle j'avais compare a la RTX 4090 24GB pour le choix de ma station de travail. :-)

Est-ce que ça sera tenable sur la durée ? Car même pour ceux qui passeront la barre d'entrée, si tous les postes deviennent exclusivement et tout le temps consacrés à des problèmes ardus, ça peut finir par causer pas mal de burnout. Il n'est probablement pas possible d'être toujours à fond. Dans tous les métiers, il y a des tâches de difficulté et d'intensité variables. Si aux humains ne restent plus que les tâches difficiles, il va falloir doper les survivants 😄💉

Via Ollama un model 7B (Mistral, llama2, Straling) tourne correctement (me semble t'il) avec un i7 32GB RTX 3070. Ca tourne aussi sur un i5 16GB GTX 1060, mais c'est moins fluide. J'ai pu tester sur un Xeon 12 core 256 GB sans GPU c'est plus long mais ça passe aussi

@@PS3EXTRA Donc sur un rasberry Pi 5 + Coral c'est pas envisageable ?

Ce que j'entends par petits modeles ce sont surtout des modeles specialises pour des taches particulieres (e.g. Gemma pour de la generation de code). Evidemment, ils vont avoir assez peu de parametres - mais un modele avec peu de parametres n'est pas forcement un petit modeles (e.g. Llama 3 en versions 7B). Ensuite, il faut regarder ce que l'on veut faire avec le modele: - de l'inference? quelle latence est acceptable? combien de tokens par minutes en inference? combien de pipeline d'inferrence en paralelle. - de l'entrainement? du fine tuning? du continuous learning? etc. En fonction de tous les besoins, il va falloir une infrastructure differente avec des contraintes de VRAM differente. Pour un usage personnel (e.g. assistant domotique), il est certain qu'un LLama 3 7B-it quantise en 4bits pourra probablement tenir sur 8G de VRAM et avoir une latence et throughput acceptable. Pour prototyper des choses qui sortent un peu de cela, ou meme s'entrainer sur des use-cases un peu plus complexes, ca va commencer a devenir complique. J'ai essaye de faire tourner Gemma 7B-it ce week-end sur un GPU a 8GB de VRAM et meme avec un bon CPU offloading, j'ai pas reussi a obtenir des reponses avec des prompts courts sous les 20 secondes. En milieu pro, il me fait des reponses // sous la seconde avec des contextes > 1000 tokens. On en est encore loin localement avec du materiel grand public malheureusement. Mais effectivement, des modeles 1B ou meme des modeles 1 bits avec plus de parameters, specialises dans des taches particulieres et que l'on agence via un framework multi-agent - je pense que c'est non seulement le future en ce qui concerne la mise en production de IA pour des cas concrets, mais aussi une porte d'entree a moindre cout pour le grand public.

@@Pubelle A ma grande surprise ça semble possible d'après des vidéos sur KZfaq

@radioduthe Pas tout le monde en fait, mais j'ai vu quelques commentaires sur la chaîne de devs qui avaient pourtant des versions payantes de ChatGPT ou Copilot. Suite à ça, j'ai cherché sur internet pour voir si c'était le cas pour d'autres utilisateurs de longues date et malheureusement, c'était le cas. Affaire à suivre 😀

J'utilise ChatGPT Plus massivement depuis novembre 2022, et je confirme que les performances de GPT 4 ont drastiquement diminué durant 2023. Par contre depuis la dernière maj de mi avril, les performances ont augmenté a nouveau. Difficile de dire si elles sont au meme niveau qu'auparavant

Oui et ça fait des codes pas sécurisés/opti, faut avoir un certain recul pour juger si un code généré par une IA est bon

Oui mais les LLM peuvent expliquer le code. Je me dit même que ça peut être une bonne façon d'apprendre. On lui demande de nous expliquer les concepts utilisés, de nous les expliquer et de nous donner des exercices pour qu'on puisse s'exercer à les mettre en œuvre.

@@Venden_IX Niveau (absence d') optimisation, c'est typiquement ce qui est arrivé à un pote récemment : en regardant du code généré par Copilot par un de ses collègues , il a constaté que le code généré lisait d'énormes fichiers au lieu de les streamer. Donc relire attentivement le code généré reste important. Comme c'est le cas pour du code récupéré depuis StackOverflow en fait : on ne peut pas faire l'économie de comprendre ce qu'on copie, peu importe d'où vient le code récupéré 😀

@@TheRemiRODRIGUES Ca fait partie du morceau d'interview que j'avais hélas coupé, pour ne pas avoir avec une vidéo trop longue. Dans un framework Multi-Agent, un agent peut critiquer le code généré par un autre agent et donc probablement l'expliquer. Ca pourrait même devenir un jeu de boisson : chaque fois que le terme Multi-Agent apparait en 2024 dans une vidéo d'IA, il faut boire un coup. Il y a un risque certain à ne plus finir une vidéo en marchant droit 🥃😄

@PS3EXTRA Tu es en train d'expérimenter le fait que maintenir une application prend plus de temps et d'effort (et coûte même plus cher) que de la créer. Je te rassure, c'est le cas pour tout le monde, avec ou sans recours à l'IA 😀 C'est pour ça que c'est important de créer des fonctions avec des noms clairs, faire en sorte que chaque fonction fasse idéalement une seule chose, réussir à combiner facilement des fonctions. Sans oublier, ne pas over-ingénieurer (plus facile à dire qu'à faire). En tous cas, rien de tel que d'apprendre à créant des projets concrets 👍 Après, il faut alterner les phases théoriques (lecture de doc officielle, tuto) et mis en pratique.

@battlefield5 Ca n'est que ma deuxième interview, donc j'ai encore des bonnes pratiques à découvrir 😉

@@codeconcept c'est pas un reproche, juste une remarque :)

@battlefield5 Pas de problème, je ne l'avais pas mal pris😀 Heureusement que ça n'est pas pas parti en larsen. Même si je suis un fan d'Hendrix, je préfère éviter le phénomène dans le cadre d'une interview.

Merci ! Sur la prochaine, j'enregistrerai localement chaque source sonore que je réunirai en post prod. Là, c'est trop tard. Ceci dit, l'écho donne un effet "vaste" qui ne nuit pas à la compréhension.

C'est toujours délicat de donner une date (ne serait-ce qu'une année) précise, car entre le marketing qui exagère les possibilités de certaines IA et les limitations physiques (nombre de GPU disponibles, data center à construire etc), les investisseurs - par nature impatients- vont peut-être retirer une partie de leurs billes pour sauter sur une nouvelle hype en 2025 ou 2026, si bien que les progrès ne seront pas continu. Ensuite, même si l'AGI est effective dans deux cinq ou dix ans, la destruction de millions d'emplois dans chaque pays rendra nécessaire une réorganisation : soit revenu universel, soit économie alternative des gens éjectés qui ne se résigneront pas à être catalogués "inutiles" par les RH accro aux IA, soit un mélange des deux. C'est une période d'incertitude, voire d'angoisse, mais peut-être aussi de changement de perspective imprévisibles pas nécessairement négatifs.