Обучение парсингу на Python #1 | Парсинг сайтов | Разбираем методы библиотеки Beautifulsoup
Рет қаралды 525,057
Күн бұрынОбучение (Web-Scraping) веб парсингу на Python. В данном видео разбираем методы одной из основных библиотек для парсинга веб сайтов на Python Beautifulsoup4.
🔥 Доступ в приват | Поддержать проект:
boosty.to/pythontoday
/ pythontoday
yoomoney.ru/to/410019570956160
🔥 Стать спонсором канала:
/ @pythontoday
Таймкоды:
00:00 - О библиотеке Beautifulsoup
01:18 - Установка Beautifulsoup
01:58 - Установка lxml
02:55 - Работа с основными методами .find() и .find_all()
09:37 - Методы .find_parent() и .find_parents()
11:25 - Методы .next_element .previous_element .find_next()
12:38 - Методы .find_next_sibling() и .find_previous_sibling()
13:30 - Комбинирование методов
14:25 - Как забрать атрибуты из тегов
15:44 - Поиск по тексту
16:20 - Пример использования регулярных выражений при парсинге
****Ссылки****
Дешевый/надежный сервер в Европе + СКИДКА 10%:
vdsina.ru/?partner=858b36ud3p
Хороший proxy сервис:
proxy6.net/a/149995
Документация Beautifulsoup:
EN: www.crummy.com/software/Beaut...
RU: www.crummy.com/software/Beaut...
Код проекта на github:
github.com/pythontoday/scrap_...
И в telegram канале:
t.me/python2day
****Соц.сети****
Telegram: t.me/python2day
@wonkibonki4378 3 жыл бұрын
Вот только заинтересовался парсингом и хорошо что тебя нашёл. Максимально приятно все объясняешь
@PythonToday 3 жыл бұрын
Сапасибо за фидбэк 👍
@1ntrigo364 2 жыл бұрын
Как идут успехи, в сфере парсинга? Многое что уже умеете?)
@user-xz4mj8fd9j 2 жыл бұрын
@@1ntrigo364 не отвечает, забросил ведать всё это дело...
@ElectroLensReview 2 жыл бұрын
@@PythonToday и информация по парсингу представлена элегантно, за это спасибо
@JosephCorvega 2 жыл бұрын
ну как там твой парсинг?
@user-bi4vs4rb1n Жыл бұрын
Всем у кого открывается набор символов, вместо русского языка! Нужно перекодировать файл в кодировку UTF-8 добавив в первую строчку команду encoding="utf-8". Вот таким образом: with open('blank/index.html', encoding="utf-8") as file:
@ferterhard Жыл бұрын
Много часов ты наверное многим сэкономишь, но к сожалению я увидел этот комментарий уже после того, как нашел решение
@user-bi4vs4rb1n Жыл бұрын
@@ferterhard тоже помучился просто)
@user-nv7cq8xt2k Жыл бұрын
блин :) как решил эту проблему потом увидел комент, оказывается можно было в html коде просто изменить на и перезагрузить pycarm
@user-dn9th5ee2j Жыл бұрын
Согласен с предыдущими. Сначала нашел решение, а потом уже прочитал коммент. Спасибо, многие бы мучились
@user-bi4vs4rb1n Жыл бұрын
@@user-nv7cq8xt2k ну в рабочих проектах так не выйдет, когда паришь сторонний сайт поэтому лучше в коде питона указывать)
@daniilrozyev 2 жыл бұрын
Вот так нужно объяснять! Без воды быстро и сразу на живых примерах. Спасибо.
@AtomNuclearChannel 3 жыл бұрын
Спасибо большое за вашу работу, жду следующий урок
@sunratencsmusic1786 2 жыл бұрын
Классно, спасибо огромное за уроки! Буду с огромным желанием смотреть до конца и обучаться!
@eYVgeni 3 жыл бұрын
Отличный урок, пересмотрел уже несколько на данную тематику. Тут есть логика и системное изложение материала, что позволяет понять технологию, а не просто наблюдать за тем, как кто-то пишет код, который при повторении почему-то часто не работает.
@PythonToday 3 жыл бұрын
Благодарю за фидбэк 💪
@roman.paltsev 3 жыл бұрын
Один из самых понятных уроков по парсингу на BS. Спасибо!
@PythonToday 3 жыл бұрын
Спасибо за фидбэк!
@virus8727 6 ай бұрын
сколько не искал - НИЧЕГО лучше твоего виде не нашел!!! ОГРОМНОЕ СПАСИБО!
@CommieDog1917 Жыл бұрын
На мой взгляд, этот видос - лучший по соотношению полезность/понятность/длительность
@Kitik27 Жыл бұрын
Здраствуйте, я как абсолютный новичок в этой сфере говорю вам что за один ваш урок узнал очень много нового для себя, очень доступно и понятно объясняете, спасибо за ваш контент!)
@tigert7194 2 жыл бұрын
Разобрано на простом примере. Все очень понятно. Большое спасибо! То что надо.
@user-tn3vv8zt1f 3 жыл бұрын
Превосходная подача материала. Спасибо
@PythonToday 3 жыл бұрын
Благодарю за фидбэк 💪
@Mybrainstew 4 ай бұрын
После ваших видео мне стало интересно разбираться в кодирование,а именно в парсинге , невероятно. Спасибо ❤
@user-mf8jd5mc9d 11 ай бұрын
Это лучший урок! По существу, без воды. Респектище!
@PythonToday 11 ай бұрын
Спасибо за поддержку!
@user-jq3fs5ht3d Жыл бұрын
Спасибо, твой канал очень классный! Всё кратко, понятно и по делу.
@koesh4696 3 жыл бұрын
Для 3х к подписчиков уж слишком годно! Спасибо за уроки !
@oshstreet610 3 жыл бұрын
есть такое
@shamanskiy 3 жыл бұрын
На сегодня >5.5 k. Годная динамика.
@user-hc1ne6td1z 3 жыл бұрын
@@shamanskiy Уже почти 11к
@dmitryvladimirov611 2 жыл бұрын
@@user-hc1ne6td1z 42.7к
@vladivchuk 2 жыл бұрын
@@dmitryvladimirov611 112к уже)
@dmitriypupkin8049 Жыл бұрын
Очень понятно и доступно и исходники есть-спасибо человеку за проделанную работу!
@PythonToday Жыл бұрын
Спасибо за фидбэк! Рад что полезно
@andrewtcoder 2 жыл бұрын
Огромное спасибо! Идеальные уроки по парсингу! Автор, ты лучший!
@PythonToday 2 жыл бұрын
Большое спасибо за поддержку!
@fullrango. 2 жыл бұрын
Приятный голос, слушать одно удовольствие. Доходчиво и понятно. Спасибо за труд
@PythonToday 2 жыл бұрын
Спасибо за фидбэк и интерес!
@nickyr42 2 жыл бұрын
Если вывалится ошибка при чтении html то, пропишите кодировку: with open(r"blank/index.html", encoding='utf-8') as file: src = file.read() print(src)
@koloningleb5945 2 жыл бұрын
Спасибо! У меня неверно выводился русский текст, что содержится в тегах. Установка кодировки таким образом помогла!
@user-ze1fb8jw8q 2 жыл бұрын
Спасибо, подскажите из-за чего была ошибка ?
@himegood 2 жыл бұрын
Спасибо. Час времени потерял.
@MrSunTrope 2 жыл бұрын
@@user-ze1fb8jw8q на кирилице бывает принудительно нужно указывать кодировку
@user-iu3jn8xc1u 2 жыл бұрын
Спасибо!
@user-uz5lg9xd1s Жыл бұрын
Очень крутое видео. Огромное спасибо за Ваш труд!
@k-065olga8 2 жыл бұрын
Просто великолепное видео, столько удовольствия! Спасибо большое!!!
@PythonToday 2 жыл бұрын
Спасибо за поддержку! Рад что полезно.
@1ntrigo364 2 жыл бұрын
Редко оставляю комменты, но тут грех пройти мимо... Спасибо тебе, автор, за качество работы! Я, как раз начинаю изучать, тему программирования, а твои работы как раз в тему. Подписка, лайк е едем дальше) 😎👍
@PythonToday 2 жыл бұрын
Благодарю за фидбэк!
@kolianno476 Жыл бұрын
как процесс изучения год спустя?)
@short_aliexpress Жыл бұрын
спасибо за урок! офигенная подача материала.
@user-lq4pv8lj5q Жыл бұрын
Очень круто! И понятно изложено. На лекция 2 часа объясняют непонятно о чём... А тут всё ясно и наглядно.
@georgestatefield 2 жыл бұрын
Объём информативности зашкаливае Спасибо за труд!
@PythonToday 2 жыл бұрын
Спасибо за фидбэк!
@nicolasrudnev6800 3 жыл бұрын
ИНтересно и познавательно! Побольше таких видео!
@ashottosha3773 2 жыл бұрын
Очень круто наблюдать за магией! Потрясающе!
@PythonToday 2 жыл бұрын
Большое спасибо за фидбэк и поддержку!
@chenss1857 3 жыл бұрын
Просто лучший, всё понятно и чётко объясняешь !
@PythonToday 3 жыл бұрын
Благодарю!
@user-in5dy1hs2u Жыл бұрын
Ты лучший старина, спасибо за материал!
@user-cm1cg2sb1l 2 жыл бұрын
Какой Вы молодец! Здоровья Вам и процветания!
@PythonToday 2 жыл бұрын
Большое спасибо! Взаимно!
@Anastasia_Kobalt 3 жыл бұрын
Ты - супер! Первый канал, на котором все легко укладывается :) Даже появилось ощущение, а вдруг я смогу когда-нибудь кодить)
@PythonToday 3 жыл бұрын
Спасибо за фидбэк! Конечно сможешь, вливайся 👍
@frostek__6956 3 жыл бұрын
Предлагаю сделать ещё одно видео по этой теме) А так всё очень доходчиво обьяснил
@PythonToday 3 жыл бұрын
Благодарю. Видео будет много 👍
@user-um2eu1dy8t 11 ай бұрын
прошло два часа, но наконец это все понял и законспектировал , спасибо большое что оставили страницу для тренировки на github, очень хороший ролик и объяснение :] //а еще приятно видеть ubuntu , очень мне нравится она ( у самого стоит)
@shurfly6961 2 жыл бұрын
Все четко и по делу, отличная подача информации и микрофон
@aleksandryushka9571 Жыл бұрын
Это очень хороший курс. Спасибо огромное. С первого урка всё понятно. Ссылки на документацию пригодились. Всем рекомендую прочесть для большего понимания действий автора видео. Ещё раз спасибо.
@PythonToday Жыл бұрын
Большое спасибо за фидбэк!
@i_cooler 2 жыл бұрын
Очень качественное видео. Всё подробно рассказано. Всё понятно.👍
@PythonToday 2 жыл бұрын
Спасибо!
@artembobrolevv3861 3 жыл бұрын
Видос ОГОНЬ! У меня возникла проблема с кодировкой (отображение русского), для решения использовал with open('blank/index.html', encoding='utf-8') as file:
@user-gw7ps9lw3p 3 жыл бұрын
Это мне помогло, спасибо!
@Anastasia_Kobalt 3 жыл бұрын
а я просто залезла в настройки pyCharm и там выбрала в разделе file encodings - Windows 1251
@user-hd1fn2ir1v 3 жыл бұрын
благодарю
@user-on6mh4qk2u 2 жыл бұрын
спасибо, от души
@user-xv7sh6lp7o 2 жыл бұрын
И мне помогло, спасибо!
@sergeyvladimirovich3083 3 жыл бұрын
Огромное спасибо. Очень доходчиво, хороший стиль изложения урока
@PythonToday 3 жыл бұрын
Благодарю 💪
@sergeyvladimirovich3083 3 жыл бұрын
@@PythonToday Было бы здорово раширить урок по пагинации. В принципе это вообще отдельный урок, так как тема, мне кажется сложная, учитывая разнообразие сайтов. Буду очень благодарен если сделаете видео на эту тему. Пример пагинации на разных сайтах и всякие хитрости.
@amal_kemen 6 ай бұрын
Отличный урок) и хорошее объянения) спасибо!
@PythonToday 6 ай бұрын
Благодарю за фидбэк! Рад что полезно)
@Xurshid_Mirzayev 2 жыл бұрын
классно. Спс. Начал изучать Парс по твоим роликам.
@Crasytoser Жыл бұрын
Спасибо, очень понятно, прекрасно рассказали.
@user-zw1bt3jn6x Жыл бұрын
Чувак,ты лучший!!!я начинающий питонист, на данный момент лучше тебя еще не встречал!!!Спасибо за урок,очень понятно и доходчиво обьясняешь.🍺🍺🍺
@galixu3420 3 ай бұрын
Ты братишка не питонист а аутист
@PythonToday 3 жыл бұрын
Таймкоды для вас: 00:00 - О библиотеке Beautifulsoup 01:18 - Установка Beautifulsoup 01:58 - Установка lxml 02:55 - Работа с основными методами .find() и .find_all() 09:37 - Методы .find_parent() и .find_parents() 11:25 - Методы .next_element .previous_element .find_next() 12:38 - Методы .find_next_sibling() и .find_previous_sibling() 13:30 - Комбинирование методов 14:25 - Как забрать атрибуты из тегов 15:44 - Поиск по тексту 16:20 - Пример использования регулярных выражений при парсинге
@user-nv7cq8xt2k Жыл бұрын
Огромное СПАСИБО за видео и за коды на ГитХабе
@hieudang9017 2 жыл бұрын
Видео очень простое и легкое для понимания, спасибо!
@PythonToday 2 жыл бұрын
Благодарю за фидбэк!
@nadyamoscow2461 3 жыл бұрын
Огромное спасибо, очень грамотно и понятно изложен материал
@PythonToday 3 жыл бұрын
Спасибо за фидбэк!
@Zeka1111g 2 жыл бұрын
подача материала отличная.все понятно.спасибо
@PythonToday 2 жыл бұрын
Благодарю!
@GreekkAlex 3 жыл бұрын
отличный урок! спасибо за гайд!👍🤘
@PythonToday 3 жыл бұрын
Спасибо за фидбэк 💪
@elenaartamon 2 жыл бұрын
Большое спасибо за видео! Очень качественные видеоролики.
@PythonToday 2 жыл бұрын
Большое спасибо за поддержку!
@user-de7vk7gm7b 3 жыл бұрын
Прекрасно, замечательно продуманный план урока.
@PythonToday 3 жыл бұрын
Благодарю!
@arsadaul9910 3 жыл бұрын
Приятный голос, хорошее качество звука, понятное объяснение спасибо
@PythonToday 3 жыл бұрын
Благодарю за фидбэк!
@Arnur-wt3vd Жыл бұрын
Огромное спасибоза видео! Очень рад что наткнулся на ваше видео, на всякий случай сохранил в плейлист)
@PythonToday Жыл бұрын
Рад что полезно! Спасибо за фидбэк!
@blackcatdevel0per Жыл бұрын
Спасибо за видос!
@foxaling9694 Жыл бұрын
Очень крутой видос! Библиотека сама очень очень вкусная! Спасибо за гайд!
@PythonToday Жыл бұрын
Спасибо за фидбэк!
@user-ge9iz9jr1z 3 жыл бұрын
ахренеть какой крутой канал, с первого видео я понял, что это супер качественный контент, а не вода! доходчиво быстро!
@PythonToday 3 жыл бұрын
Благодарю за фидбэк, рад что полезно
@user-po3sg7vn4y Жыл бұрын
Как всегда супер!)
@boborustamov8661 2 жыл бұрын
Реально годное видео, без лишней информации.
@PythonToday 2 жыл бұрын
Благодарю
@anatoliyg6070 2 жыл бұрын
Четко, внятно и понятно. Благодарю!
@PythonToday 2 жыл бұрын
Благодарю за фидбэк!
@zimaviolet3004 Жыл бұрын
Как же это информативно!
@akill77 2 жыл бұрын
Видео огонь. Все оочень доступно и интересно🔥🔥🔥
@PythonToday 2 жыл бұрын
Благодарю!
@user-nw3gg9he4r Жыл бұрын
Хорошая подача! Спасибо!
@user-iu6vq3tw4c Жыл бұрын
Шикарно!)))Большое СПАСИБО!!!
@PythonToday Жыл бұрын
Благодарю за фидбэк!
@maksonaladin4033 8 ай бұрын
Офигеть, с первых минут нашел, что искал - работа с полученными тегами через список. Лайк и подписка с меня
@p1ugg123 Жыл бұрын
самый полезный гайд из всех, что на ютубе
@link6828 2 жыл бұрын
Огромное спасибо за урок, очень полезное видео!
@PythonToday 2 жыл бұрын
Благодарю за фидбэк, рад что полезно!
@jackmetropolitan7845 3 жыл бұрын
Ооо, вот это было очень здорово! Спасибо!
@PythonToday 3 жыл бұрын
Спасибо за фидбэк!
@AntonHHO 10 ай бұрын
Кайф! с удовольствием посмотрел и попрактиковался. ❤
@marlin1222 2 жыл бұрын
спасибо большое за познавательный ролик!
@user-if8rs8mo6t 3 жыл бұрын
Очень крутая и полезная информация, Вы молодец)
@PythonToday 3 жыл бұрын
Спасибо, рад стараться 👍
@Mirismail87 2 жыл бұрын
🔥🔥🔥🔥🔥 ты молодец, обучение просто бомба, все предельно просто и ясно🔥🔥🔥🔥🔥
@PythonToday 2 жыл бұрын
Благодарю!
@user-ri8ow3qh7l 26 күн бұрын
Спасибо, что код выложил, настоящий разработчик
@acidandrey 11 ай бұрын
Спасибо большое для новичка самое то. Пересмотрел пару раз. И теперь буду двигаться дальше.
@PythonToday 11 ай бұрын
Молодцом! Рад что полезно. Спасибо за фидбэк!
@diaswarm6374 3 жыл бұрын
Спасибо большое, максимально ясно и кратко
@PythonToday 3 жыл бұрын
Благодарю
@user-du7sz3kv4m 3 жыл бұрын
Классно объясняешь! Я рад что подписался !
@PythonToday 3 жыл бұрын
Благодарю 👍
@user-LvSerg777 10 ай бұрын
Вернулся с видео "Обучение парсингу на python #4", чтобы еще раз все осознанно посмотреть и достать текст из тега span без класса. АВТОР МОЛОДЧИНА! СПАСИБО!
@PythonToday 10 ай бұрын
Большое спасибо за интерес!
@aleksandrshugaev843 2 жыл бұрын
Автору респект за ненавязчивый и понятный стиль изложения!
@PythonToday 2 жыл бұрын
Большое спасибо!
@gesuschrist1553 2 жыл бұрын
Все максимально понятно. Спасибо!
@PythonToday 2 жыл бұрын
Спасибо за фидбэк и поддержку!
@SereginSF 2 жыл бұрын
Очень хороший урок, сжато и информативно.
@PythonToday 2 жыл бұрын
Благодарю за фидбэк и поддержку!
@AnKor84 2 жыл бұрын
огромное спасибо! прям по полочкам разложено)
@PythonToday 2 жыл бұрын
Благодарю за фидбэк!
@Stepan_bendera 2 жыл бұрын
Долго не мог разобраться в порядке перемещения по дом дереву а сейчас как осенило. Крутой урок буду смотреть весь плейлист.
@PythonToday 2 жыл бұрын
Благодарю за фидбэк и поддержку! Рад что полезно)
@user-cq3en5ru8p 3 жыл бұрын
Спасибо, очень крутые видео!
@PythonToday 3 жыл бұрын
Благодарю 💪
@dx30-ln3blank7 2 жыл бұрын
Наредкость отличный канал. Отличная подача материала, просто замечателная. Лайк, подписка, колокольчик!
@PythonToday 2 жыл бұрын
Благодарю!
@55sintez 3 жыл бұрын
Очень круто, спасибо!
@PythonToday 3 жыл бұрын
Благодарю за фидбэк 👍
@dotauniverse3305 2 жыл бұрын
Спасибо, интересно смотреть и слушать! Ролик вылез случайно, а подписку оформляю специально.
@PythonToday 2 жыл бұрын
Большое спасибо за поддержку!
@LD_ROBE 11 ай бұрын
Урок огонь!
@vladimirprin263 2 жыл бұрын
Очень круто все и подробно, вообще классно❤️
@PythonToday 2 жыл бұрын
Большое спасибо за фидбэк!
@Aleksandr_Izmailov 3 жыл бұрын
Капец, как круто! Вот сейчас я реально распечатался по Пайтону. А то сидел простые задачки решал по два плюс два складывать.
@PythonToday 3 жыл бұрын
Никогда не любил решать задачи. Спасибо за фидбэк
@intmang 2 жыл бұрын
@@PythonToday А это вы про те задачи как: нарисуйте из звездочек чайник с помощью цикла for)))
@sviteribuben7245 3 жыл бұрын
Годно! спасибо за работу!
@PythonToday 3 жыл бұрын
Благодарю
@user-fr5qc2zl4o Жыл бұрын
Это шикарно! Благодарю!!!!
@PythonToday Жыл бұрын
Спасибо за фидбэк и поддержку!
@AleksejKomarov 3 жыл бұрын
Наглядно, спасибо!
@gorgabrielyan2255 3 жыл бұрын
Спасибо огромное. Хорошо что есть этот канал, жаль раньше не узнал. Респект 👍
@PythonToday 3 жыл бұрын
Благодарю за фидбэк!
@Vivavatnik 3 жыл бұрын
спасибо! Самое толковое видео на эту тему!
@PythonToday 3 жыл бұрын
Благодарю за фидбэк 💪
@samoiloff90 3 жыл бұрын
Спасибо! Очень круто
@PythonToday 3 жыл бұрын
Благодарю 👍
@heavenyoung2590 Жыл бұрын
классное видео, повторил всё, что ты сделал, спасибо
@PythonToday Жыл бұрын
Спасибо за фидбэк и поддержку!
@user-br4vn6id6u 3 жыл бұрын
Красава, чувак! Круто объясняешь
@PythonToday 3 жыл бұрын
Благодарю 💪
@BorisVP1967 2 жыл бұрын
Спасибо автору! Сразу начал пытаться писать парсер, для интересующего сайта. После третьего дня просмотра первого и второго видео "Обучение парсингу на Python", кое что начало получаться. Почти удалось создать путь до самого, одного из интересующих элементов на странице. Надеюсь дальнейший просмотр поможет понять, как доставать сам этот "элемент" из: элемент Пока результат исполнения программы выдаёт None , с нормальным завершением кода, что само по себе считаю хорошим знаком. О себе в программировании полный ноль, во времена СССР в школе его не преподавали.
@alexrum1496 Жыл бұрын
Спасибо ! Доступно для понимания.
@PythonToday Жыл бұрын
Благодарю за фидбэк!
@Musikan0 Жыл бұрын
единственный человек который нормально всё обьянснил
@jeyhunzeynalov777 3 ай бұрын
Спасибо Учитель :) как говорится без воды!
@PythonToday 3 ай бұрын
Сам учусь)) Спасибо за фидбэк! Надеюсь было полезно
@jeyhunzeynalov777 3 ай бұрын
@@PythonToday ✊✊✊ еще раз спасибо,и за такой открытый урок, и за такие теплые коменты.
PythonToday
Рет қаралды 223 М.
loftblog
Рет қаралды 52 М.
Қайрат Әділгерей, Muyun Brothers, Аманғали Сыпабеков, Нұргүл Даубаева ҚЫЗЫҚ TIMES | Хотя бы кинода 3
Marat Oralgazin
Рет қаралды 501 М.
PythonToday
Рет қаралды 178 М.
blacktrub channel
Рет қаралды 73 М.
Nikolay Pavlov
Рет қаралды 119 М.
PythonToday
Рет қаралды 848 М.
PythonToday
Рет қаралды 82 М.