WEB SCRAPING PYTHON [TUTO PROGRAMMATION COMPLET] (DÉBUTANT À AVANCÉ)

Рет қаралды 55,654

Күн бұрын

🔥 15$ de crédit gratuit sur brightdata.com : brdta.com/CodeAvecJonathan
Le scraping est une technique qui vous permet d'extraire des informations depuis des sites web.
Ce tutoriel de programmation sur le web scraping avec Python va vous permettre :
- De faire vos premiers pas en scraping (pour débuter avec requests et beautifulsoup)
- D'apprendre et de contourner les mécanismes de protections contre le scraping
- De connaitre les règles légales concernant le scraping
- De créer un projet avancé qui vous permettra de scraper n'importe quel site.
- D'utiliser l'IA (ChatGPT) pour vous aider sur la génération du code.
----------------------------------------------------------
Prérequis :
- Connaitre les bases sur le langage Python : • APPRENDRE PYTHON [TUTO...
- Installer Visual Studio Code : code.visualstudio.com/download
----------------------------------------------------------
Les liens :
1️⃣ Cette vidéo est en partenariat avec Brightdata (solution de scraping professionnelle), qui vous offre 15$ de crédit en passant par ce lien : brdta.com/CodeAvecJonathan
(ce lien ne m'apporte aucune commission, il vous permet juste de suivre ce tutoriel gratuitement)
2️⃣ Téléchargez tous les codes source de ce tutoriel : codeavecjonathan.com/scraping...
3️⃣ Toutes mes formations au meilleur prix : codeavecjonathan.com/formations
----------------------------------------------------------
Le programme :
00:00:00 Introduction
00:01:50 Prérequis
00:02:10 Le programme
00:02:31 PARTIE 1 - Vos premiers pas en scraping
00:04:18 Faire une requête HTTP (requests)
00:13:36 Extraire les informations (titre + description)
00:23:33 Récupérer plusieurs éléments (ingrédients)
00:27:40 Exercice : Etapes de préparation
00:30:22 Conseils pour aller plus loin (générez du code avec ChatGPT / entrainez vous avec scrapethissite.com)
00:33:16 PARTIE 2 - Les protections contre le scraping
00:36:34 User-agent : se faire passer pour un navigateur
00:41:28 Problèmes liés au Javascript
00:44:13 Headless browsing : contourner les problèmes liés à Javascipt
00:45:42 Solutions de scraping pro : Rotations IPs, Proxys, Anti-captcha…
00:48:03 PARTIE 3 - Est-ce que le scraping est légal ?
00:50:56 PARTIE 4 - Projet de scraping avancé
00:52:23 Sites protégés : Limites du script actuel
00:55:51 Les etapes du projet
00:56:54 Création de votre compte sur BrightData.com
00:58:18 Comprendre : Le WebUnlocker et ScrapingBrowser
00:59:37 Utilisation du Web Unlocker
01:11:44 Utilisation du Scraping Browser
01:17:39 Bypasser le mode scraping
01:21:22 Extraction des informations (titre)
01:26:53 Extraction des informations (nb évaluations, prix, description)
01:37:19 Plusieurs urls, stocker les données, scheduler
01:42:53 Reformuler du contenu avec l’API ChatGPT
01:45:57 Conclusion
----------------------------------------------------------
A propos :
Développeur passionné avec plus de 19 ans d'expérience professionnelle, je suis actuellement développeur freelance spécialisé dans les applications mobiles iOS et Android, et les serveurs WEB. Je travaille à distance avec mes clients.
Sur cette chaine, je vous propose de découvrir la programmation d'une manière différente : je vous apporte ma pédagogie et mes techniques professionnelles.
L'objectif ? Vous permettre d'apprendre la programmation, de devenir un meilleur développeur, de vous professionnaliser, et pourquoi pas de changer de vie.
Abonnez-vous à la chaine pour accéder aux nouvelles vidéos sur les sujets suivants:
- Tuto programmation (Python, C#, .NET, ...)
- Devenir développeur freelance
- Utiliser les IA génératives (ChatGPT, Midjourney...)
Mon profil Linked-In : / rouxjonathan
Mon site de freelance : jonathanroux.fr
Mon site de formations : codeavecjonathan.com

Пікірлер: 120

@spookyzlechat5394 6 ай бұрын

J'ai déjà mentionné cela, mais je tiens à vous remercier pour la qualité, la pédagogie, la pertinence et le professionnalisme de vos partages. C'est une chance d'apprendre avec des personnes de votre envergure, que ce soit sur Udemy ou gratuitement. Bravo, Jonathan.

@ibrahimadiagne6004 3 ай бұрын

😅

@hamaneadjisouleymane8156 5 ай бұрын

Merci Infiniment pour tout cher Jonathan, t'es le meilleur, no comments

@user-be3cg4pq4j 15 сағат бұрын

Jonathan est juste le meilleur 👌🏾 Que ce soit en gratuit ou sur Udemy il fait parfaitement l'équilibre

@NoureddineRAHMOUNI 5 ай бұрын

Bonjour Jonathan ! Merci beaucoup, vous faites vraiment les meilleurs tutos. Meme dans vos tutos gratuis on apprend très bien et on acquit tant de connaissances en programmation informatique en général. C'est avec vous que j'ai commencé à apprendre la programmation et j'en suis fier.

@tonysanogo 6 ай бұрын

Merci beaucoup jonathan pour votre passion celle d'aider les développeurs python

@ElBasraoui 5 ай бұрын

Parmi les meilleurs vidéos que j'ai regardé sur Python llahoma barik

@karamokodiaby4230 4 ай бұрын

Merci beaucoup pour ce tuto. J'ai vraiment aimé et cela a améliorer ma compréhension du scrapping. Je fais finir ma formation sur l'IA et mieux mettre en pratique L'IA et le scrapping.

@user-kd8qx1wk4m 6 ай бұрын

Merci beaucoup pour votre formation python complet ça m'a beaucoup aidé!!!!

@heckel92 2 ай бұрын

bravo pour la qualité de cette formation. j'y ai appris beaucoup de chose

@kobcodeur 6 ай бұрын

vos cours sont exceptionnels.

@julienpierrel6399 6 ай бұрын

Superbe cours, merci beaucoup 😊

@canibalcorps 6 ай бұрын

Whao ! Merci, vidéo très claire, très pédagogique !

@alainmuteba7066 4 ай бұрын

Merci Jonathan. Très bien expliqué comme dans la formation sur udemy

@gdefombelle 2 ай бұрын

T’as l’air sympa, compétent et pédagogue, je m’inscris 😊

@mohamedcamara4450 6 ай бұрын

Il débute super bien comme toujours.👌🏽 Pourrais-tu faire une vidéo approfondie sur pytube et python intégrer à Excel afin de récupérer et manipuler les données externes ?

@iliasselmeknassi 6 ай бұрын

❤ mon premier "hello world" en python c'était avec vous Mr et je tiens à vous remercier du fond du cœur pour votre implication et votre enseignement 🎉😊 merci infiniment. J'ai toujours cette vidéo en favoris 😂

@jpc5311 5 ай бұрын

Merci et bravo Jonathan !

@lesenfantsdunde1745 2 ай бұрын

Un grand merci pour ce tuto qui est très clair

@alexdtrad3r822 2 ай бұрын

very nice tutorial. simple and objective. Thank you Jonathan

@user-rb3gi1ce8j 6 ай бұрын

Merci beaucoup pour la formation ☑️

@koffiflaimoiye5276 6 ай бұрын

Merci Beaucoup Monsieur 🙏🏿.

@ramizenasri3810 Ай бұрын

Thank you very much ❤ Tres bon video

@amaradiop5377 6 ай бұрын

le meilleur merci beaucoup pour votre aide

@MINDSETER001 6 ай бұрын

Toute ses intros me tuent 💥💥💥🙏🏿

@SofianMW 2 ай бұрын

un riche tuto, mille merci!

@blacksound2004 6 ай бұрын

Franchement bravo. Merci

@avenuedefi8583 6 ай бұрын

Merci pour ton partage

@Pierre_Antoine 4 ай бұрын

T'es le boss !

@carolfabienrakotozafy8734 6 ай бұрын

Vous êtes trop fort , comment vous avez fait pour assimiler tout ça , bravo !

@jeanpierreragequit1726 6 ай бұрын

Je m'étais toujours demandé comment les programmeurs faisaient pour récupérer en temps réel les prix de certaines produits ( CG ) pour les afficher dans les stream ( Twitch ).Je sais maintenant pourquoi et surtout comment. Un grand merci pour ce tutoriel génial.

@MrSozer94 5 ай бұрын

Bonjours, Je viens de découvrir votre chaine suite a mon envie d'apprendre le codage et la programmation est franchement superbe explication. Pourriez-vous refaire des video pour apprendre a coder et programmer en 2024 Merci ... 🎉🎉🎉

@babsacademy 6 ай бұрын

Mais Ça faisait longtemps ☺️

@Irieguy 6 ай бұрын

I like this channel❤

@Motivationetsavoirfaire 6 ай бұрын

J'ai une application de human chatbot et je cherchait comment entraîner et les vendre. Cette video va me rendre riche 😅😅😅.merciiiii grand Monsieur

@user-ls7of7ti4g 3 ай бұрын

Merci beaucoup 🙏🙏

@tifleurfane5227 6 ай бұрын

jai 12 ans et je suis tes vidéos maintenant je peut peut crée des jeux merci 😃

@irakozegaddiel4353 2 ай бұрын

courage mon grand

@tifleurfane5227 2 ай бұрын

@@irakozegaddiel4353 je suis une fille

@aliounembaye3952 6 ай бұрын

Merci bcou jonathan

@michelmaleka8256 6 ай бұрын

en tout cas comme toujours c'est une masterclasse cet tuto ,pourrais tu faire une formation sur le développement ios ?

@vdeotutos1274 6 ай бұрын

Je vous aime trop ❤ mon programmeur préféré comment je peux vous joindre svp!🙏

@moussoaimeyannickedi8218 5 ай бұрын

merci pour vos tutos qui sont facilement comprehensibles j'aimerais avoir s'il est possible de faire le scraping via pycharm

@PierreMeyssonnier 2 ай бұрын

Merci et bravo Jonathan, comme le goeland toujours plus haut .... une petite remarque chez moi en mettant response.encoding="utf-8" ça ne marche pas, mais bien en écrivant le fichier f = open("recette.html","w",encoding="utf-8"'). Merci d'avance j'ai le bon fichier recette.html c'est juste pour comprendre

@lotharjohansson3785 8 күн бұрын

Intéressant et bien expliqué. Mais il y’a des lenteurs qui ne sont pas au niveau du public de cette vidéo. Par exemple les 10 minutes passées à expliquer comment créées son compte sur BrightData ou comment se loguer dessus ne servent à rien : si on est là, on sait créer un compte sur un site et se loguer dessus 😂

@kasmifreecg 5 ай бұрын

Abonné!

@JarstKadiobo Ай бұрын

Salut jonathan je suis nouveau, et présentement j'appreci le professionnalisme que vous adopted Je voulais adhéré le groupe ou plate-forme des coder, toute a l'heure je viens de vous suivre vous etiez de dispensés sur python qu'on pouvez adhéré grace au lien

@unelampeaumilieudestenebres 6 ай бұрын

❤❤❤❤❤❤❤

@daris_tls7011 Ай бұрын

Slt je voulais te dire es-que tu pouvais faire une video ou tu explique comment creer des sites web

@mirsaara7184 6 ай бұрын

👍🏻❤

@rouletteantima 6 ай бұрын

Pédagogique et instructif, merci pour la vidéo; cependant, je voudrai savoir comment obtenir un scrap dynamique, càd que le site a des informations mises à jour par période, qu'il me faudrait capter à chacune des mises à jour, possible?

@CodeAvecJonathan 6 ай бұрын

Bonjour, c'est expliqué dans le tutoriel (par exemple pour scraper régulièrement une fois par jour automatiquement)

@hamedtraore5545 6 ай бұрын

J'ai l'impression que les cours de udemy se retrouve ici, plus besoin de payer encore 😊

@CodeAvecJonathan 6 ай бұрын

Bonjour, non ce contenu est différent de celui présent dans les formations payantes. Vous pourrez vérifier.

@hamedtraore5545 6 ай бұрын

@@CodeAvecJonathan D'accord, j'ai deja les formations de 2021 et je suis dans groupes de discord.

@ouattaraaboubakarsiriki7017 3 ай бұрын

Salut Jonathan merci pour vos vidéos elles sont vraiment génial.j'aimerais acheté votre formation de développeur sur python donc j'ai pas de moyens de paiement. Je peux savoir si vous pouvez me recevoir l'argent par western Union

@aliansoir2659 6 ай бұрын

Bonjour ! Es-ce que c'est possible de scraper une base de données ?

@traoreaziz4055 2 ай бұрын

merci beaucoup pour le cours j'ai aimer et mon projet c'est de scraper aviator de 1win mais j'arrive toujours pas a fais même avec votre tuto 😢😢

@grggigaignerot3754 4 ай бұрын

salut jonathan, est il possible de faire la meme chose sur pycharm?

@issansabimana5122 6 ай бұрын

C’est super bien mais comment faire Le scraping du code JavaScript et css?

@soum4399 6 ай бұрын

Bonsoir au faite j'aimerai savoir si c'a c'est possible des lesson avec c ++

@abdoulkaderkonate224 Ай бұрын

Bonjour Jonathan, je souhaite créer un comparateur de prix avec le scrapinf

@kiundakambale8076 6 ай бұрын

Peut-on utiliser les scraping sur chatgpt ?

@david-brightdata9809 6 ай бұрын

ChatGPT peut clairement aider a creer un script de base. Tu peux aussi l'IDE de Bright Data (en JS)

@user-wt1xi5ws5x 4 ай бұрын

Cc, j'ai du mal avec l'installation de la bibliothèque "requests", j'ai la version 3.12 de py

@angeagnonvi4245 6 ай бұрын

Un tuto Pour nous Qui faisons du c# avec visual studio 🙏 🙏

@jeancykad3742 6 ай бұрын

C'est déjà archaïque, je pense 😂

@franckvonhatten4615 4 ай бұрын

bonjour merci j ai rencotre un souci il fallu corrige import io with io.open("recette.html", "w", encoding="utf-8") as f:

@franckvonhatten4615 4 ай бұрын

en entete # -*- coding: utf-8 -*-

@medounefall2657 5 ай бұрын

bonjour , moi ce que je comprend pas c'est que quand je ne met pas l'encodage, il n'ya pas de probleme contrairement a vous , et si je le(l'encodage) met ca genere des erreur d'encodage comme vous quand vous ne l'avez pas mis.

@atcholihenoc2513 6 ай бұрын

le scraping n'est possible sur python uniquement? ou le c++

@CodeAvecJonathan 6 ай бұрын

Bonjour, c'est possible sur d'autres langages : C#, Java, Javascript, C++ etc...

@Setche2023 6 ай бұрын

Très belle vidéo. Mais vos vidéos me sont difficiles à comprendre. J'aimerais vous rencontrer pour une formation pointue svp svp

@julienleboulch7747 4 ай бұрын

juste peut être à 1:05:35 je crois que t'as laissé ton ip visible si je me trompe pas

@hassanndavaka 6 ай бұрын

Est-il possible de faire le scraping d'une application ?

@CodeAvecJonathan 6 ай бұрын

Bonjour, non le scraping ne concerne que les sites web.

@amadouemmanueltoure7550 6 ай бұрын

Bonjour je suis débutant je souhaite acheter la formation sur les base en langage python

@alvynbignan5717 6 ай бұрын

J'ai acheté ce cours en 2021, c'était waooh

@CodeAvecJonathan 6 ай бұрын

Tout est là : codeavecjonathan.com/formations.html

@soum4399 2 ай бұрын

Bonsoir Oui faite j'aimerai comprendre le mécanisme pour créer un site web car dans la pluspart de vos vidéos vous faites allusion à ça mais vous ne montrez pas la démarche qu'il faut suivre

@dariusmoldovan6056 5 ай бұрын

comment texte mon tel avec mon ip depuis mon pc : c'est possible ou pas et (crée un apk installation par usb )😉😉😉

@ilixeme4214 6 ай бұрын

tu peux faire un vidéo pour apprendre le java

@algerparlefrancais9577 6 ай бұрын

Nn jcrois que il sait faire que pithon

@CodeAvecJonathan 6 ай бұрын

@@algerparlefrancais9577 Je développe en d'autres langages que Python également, mais je n'ai pas prévu de faire de vidéo de Java pour le moment.

@ulrichatin1349 10 күн бұрын

bonjour M Jonathan, je suis votre tuto et au niveau de la creation du compte bright data j'ai utilisé votre lien mais j'ai aucun credit, cependant j'ai continue le tuto et ça à l'air de passer mais mon probleme actuel ets que : lorsque j'ajoute '.decode("utf-8") j'ai cette erreur là :UnicodeEncodeError: 'charmap' codec can't encode character '\u2714' in position 8613: character maps to pouvez vous m'aider svp

@franckava750 4 ай бұрын

bonjour je m appelle franck je suis passionné par le langage PYTON mais je ne sais pas comment vous voir pour apprendre à codé svp??

@B_DJOULLEY 6 ай бұрын

Salut Jonathan Je voudrais participer à votre formation, mais j'ai pas un compte bancaire PayPal et visa. Alors comment dois-je faire?

@tonysanogo 6 ай бұрын

Merci moi aussi je suis dans le même cas

@B_DJOULLEY 6 ай бұрын

@@tonysanogo j'espere qu'on va trouver une solution

@CodeAvecJonathan 6 ай бұрын

Bonjour, dans ce cas quels sont vos modes de paiements ?

@B_DJOULLEY 6 ай бұрын

@@CodeAvecJonathan Wester Union

@B_DJOULLEY 6 ай бұрын

@@CodeAvecJonathan est-il possible de payer par Wester Union? j'ai vraiment besoin cette formation

@user-jw6gc6hu7s 6 ай бұрын

J'arrive pas à télécharger cette vidéo 😢

@bucurdaniel9409 6 ай бұрын

Bonjour, pour 2e scraping (test-requests) les codes ne fonnctionne pas. Pline 16, in f.write(html) File "C:\Program Files\WindowsApps\PythonSoftwareFoundation.Python.3.12_3.12.496.0_x64__qbz5n2kfra8p0\Lib\encodings\cp1252.py", line 19, in encode return codecs.charmap_encode(input,self.errors,encoding_table)[0] ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ UnicodeEncodeError: 'charmap' codec can't encode character '\u3010' in position 242729: character maps to

@XavierMartin 5 ай бұрын

bonjour j'ai exactement le même souci

@XavierMartin 5 ай бұрын

Apres quelques recherche : cette solution fonctionne pour moi : f = open("scraping-browser.html", "w", encoding="utf-8") . Ouvrir le fichier en mode écriture avec l'encodage UTF-8

@franckava750 4 ай бұрын

Moi je veux plus dans la sécurité militaire et entreprise

@justinlecuck2752 6 ай бұрын

Deviens hackeur, crackeur, développeur python en deux heures 😂😂

@leviwebert8366 6 ай бұрын

Laissons les rêver 😂

@weptiskiba8890 6 ай бұрын

petite question c'est légale d'extraire ces informations

@CodeAvecJonathan 6 ай бұрын

Bonjour, la réponse est dans ce tutoriel : je parle de l'aspect légal du scraping.

@weptiskiba8890 6 ай бұрын

@@CodeAvecJonathan merci donc je pourrais m'en servir sans risque de finir en in jail

@bricematias8128 Ай бұрын

Impossible pour moi d’avoir les 15€… je comprends pas pourquoi

@KINTUALEXLADWONG 6 ай бұрын

You have been lost, sir.

@vieetoeuvresdekafazagadio8391 6 ай бұрын

Bonsoir super video y4q t4il un ;qil pour interagir avec vous?

@samuellubota2181 6 ай бұрын

bsr j un souci avec l'encodage meme avecresponse.encoding = "utf-8" ou reponse.apparent_encoding sa maffiche pas bien que faire svp

@XavierMartin 5 ай бұрын

html = opener.open(url).read().decode('windows-1252') marche pour moi alors que decode('utf-8') retourne une erreur.

@XavierMartin 5 ай бұрын

en faisant quelques recherche le soucis peut etre résolu en spécifiant l'encodage à l'ouverture du fichier : f = open("scraping-browser.html", "w", encoding="utf-8")

@yanickplamondon5233 4 ай бұрын

bonjour J'ai comparé mon code avec le vôtre et j'ai cette erreur dont je n'arrive pas à trouver la solution? Traceback (most recent call last): File "c:/Users/yanic/Desktop/PROJET_SCRAPING/web-unlocker.py", line 18, in f.write(html) File "C:\ProgramData\Anaconda3\lib\encodings\cp1252.py", line 19, in encode return codecs.charmap_encode(input,self.errors,encoding_table)[0] UnicodeEncodeError: 'charmap' codec can't encode character '\u2714' in position 8613: character maps to PS

@francoismpyana7163 6 ай бұрын

Bonjour Monsieur Jonathan, svp comment je peux vous contacter sur WhatsApp ? J'ai besoin de vous parler

@josephmoro6593 2 ай бұрын

Bonjour Jonathan, est-ce possible d'avoir ton adresse email, j'aimerais parler parlé avec toi.

@aliounembaye3952 6 ай бұрын

j'arrive pas a bénéficier du bonus 15$ pour bridhtdata.

@CodeAvecJonathan 6 ай бұрын

Bonjour, quel est le problème exactement ?

@apprenti_PYTHON 2 ай бұрын

@@CodeAvecJonathan Bonjour, merci pour ce tutoriel. J'ai également essayé d'accéder à votre offre partenaire avec brightdata pour bénéficier des 15$ pour tester et réaliser ce tutoriel mais après l'inscription en passant par le lien dans la description, rien n'est disponible ou crédité dans brightdata. Le lien est-il encore valide ? merci pour votre réponse.

@thiarakante286 7 күн бұрын

et moi aussi au niveau de billing je vois 0$