Обучение парсингу на Python #1 | Парсинг сайтов | Разбираем методы библиотеки Beautifulsoup
Рет қаралды 524,352
Күн бұрынОбучение (Web-Scraping) веб парсингу на Python. В данном видео разбираем методы одной из основных библиотек для парсинга веб сайтов на Python Beautifulsoup4.
🔥 Доступ в приват | Поддержать проект:
boosty.to/pythontoday
/ pythontoday
yoomoney.ru/to/410019570956160
🔥 Стать спонсором канала:
/ @pythontoday
Таймкоды:
00:00 - О библиотеке Beautifulsoup
01:18 - Установка Beautifulsoup
01:58 - Установка lxml
02:55 - Работа с основными методами .find() и .find_all()
09:37 - Методы .find_parent() и .find_parents()
11:25 - Методы .next_element .previous_element .find_next()
12:38 - Методы .find_next_sibling() и .find_previous_sibling()
13:30 - Комбинирование методов
14:25 - Как забрать атрибуты из тегов
15:44 - Поиск по тексту
16:20 - Пример использования регулярных выражений при парсинге
****Ссылки****
Дешевый/надежный сервер в Европе + СКИДКА 10%:
vdsina.ru/?partner=858b36ud3p
Хороший proxy сервис:
proxy6.net/a/149995
Документация Beautifulsoup:
EN: www.crummy.com/software/Beaut...
RU: www.crummy.com/software/Beaut...
Код проекта на github:
github.com/pythontoday/scrap_...
И в telegram канале:
t.me/python2day
****Соц.сети****
Telegram: t.me/python2day
@user-bi4vs4rb1n Жыл бұрын
Всем у кого открывается набор символов, вместо русского языка! Нужно перекодировать файл в кодировку UTF-8 добавив в первую строчку команду encoding="utf-8". Вот таким образом: with open('blank/index.html', encoding="utf-8") as file:
@ferterhard Жыл бұрын
Много часов ты наверное многим сэкономишь, но к сожалению я увидел этот комментарий уже после того, как нашел решение
@user-bi4vs4rb1n Жыл бұрын
@@ferterhard тоже помучился просто)
@user-nv7cq8xt2k Жыл бұрын
блин :) как решил эту проблему потом увидел комент, оказывается можно было в html коде просто изменить на и перезагрузить pycarm
@user-dn9th5ee2j Жыл бұрын
Согласен с предыдущими. Сначала нашел решение, а потом уже прочитал коммент. Спасибо, многие бы мучились
@user-bi4vs4rb1n Жыл бұрын
@@user-nv7cq8xt2k ну в рабочих проектах так не выйдет, когда паришь сторонний сайт поэтому лучше в коде питона указывать)
@wonkibonki4378 3 жыл бұрын
Вот только заинтересовался парсингом и хорошо что тебя нашёл. Максимально приятно все объясняешь
@PythonToday 3 жыл бұрын
Сапасибо за фидбэк 👍
@1ntrigo364 2 жыл бұрын
Как идут успехи, в сфере парсинга? Многое что уже умеете?)
@user-xz4mj8fd9j 2 жыл бұрын
@@1ntrigo364 не отвечает, забросил ведать всё это дело...
@ElectroLensReview 2 жыл бұрын
@@PythonToday и информация по парсингу представлена элегантно, за это спасибо
@JosephCorvega 2 жыл бұрын
ну как там твой парсинг?
@daniilrozyev 2 жыл бұрын
Вот так нужно объяснять! Без воды быстро и сразу на живых примерах. Спасибо.
@nickyr42 2 жыл бұрын
Если вывалится ошибка при чтении html то, пропишите кодировку: with open(r"blank/index.html", encoding='utf-8') as file: src = file.read() print(src)
@koloningleb5945 2 жыл бұрын
Спасибо! У меня неверно выводился русский текст, что содержится в тегах. Установка кодировки таким образом помогла!
@user-ze1fb8jw8q 2 жыл бұрын
Спасибо, подскажите из-за чего была ошибка ?
@himegood 2 жыл бұрын
Спасибо. Час времени потерял.
@MrSunTrope 2 жыл бұрын
@@user-ze1fb8jw8q на кирилице бывает принудительно нужно указывать кодировку
@user-iu3jn8xc1u 2 жыл бұрын
Спасибо!
@AtomNuclearChannel 3 жыл бұрын
Спасибо большое за вашу работу, жду следующий урок
@eYVgeni 3 жыл бұрын
Отличный урок, пересмотрел уже несколько на данную тематику. Тут есть логика и системное изложение материала, что позволяет понять технологию, а не просто наблюдать за тем, как кто-то пишет код, который при повторении почему-то часто не работает.
@PythonToday 3 жыл бұрын
Благодарю за фидбэк 💪
@sunratencsmusic1786 2 жыл бұрын
Классно, спасибо огромное за уроки! Буду с огромным желанием смотреть до конца и обучаться!
@roman.paltsev 3 жыл бұрын
Один из самых понятных уроков по парсингу на BS. Спасибо!
@PythonToday 3 жыл бұрын
Спасибо за фидбэк!
@Kitik27 Жыл бұрын
Здраствуйте, я как абсолютный новичок в этой сфере говорю вам что за один ваш урок узнал очень много нового для себя, очень доступно и понятно объясняете, спасибо за ваш контент!)
@virus8727 5 ай бұрын
сколько не искал - НИЧЕГО лучше твоего виде не нашел!!! ОГРОМНОЕ СПАСИБО!
@Mybrainstew 4 ай бұрын
После ваших видео мне стало интересно разбираться в кодирование,а именно в парсинге , невероятно. Спасибо ❤
@tigert7194 2 жыл бұрын
Разобрано на простом примере. Все очень понятно. Большое спасибо! То что надо.
@user-tn3vv8zt1f 3 жыл бұрын
Превосходная подача материала. Спасибо
@PythonToday 3 жыл бұрын
Благодарю за фидбэк 💪
@CommieDog1917 Жыл бұрын
На мой взгляд, этот видос - лучший по соотношению полезность/понятность/длительность
@artembobrolevv3861 3 жыл бұрын
Видос ОГОНЬ! У меня возникла проблема с кодировкой (отображение русского), для решения использовал with open('blank/index.html', encoding='utf-8') as file:
@user-gw7ps9lw3p 3 жыл бұрын
Это мне помогло, спасибо!
@Anastasia_Kobalt 3 жыл бұрын
а я просто залезла в настройки pyCharm и там выбрала в разделе file encodings - Windows 1251
@user-hd1fn2ir1v 3 жыл бұрын
благодарю
@user-on6mh4qk2u 2 жыл бұрын
спасибо, от души
@user-xv7sh6lp7o 2 жыл бұрын
И мне помогло, спасибо!
@user-jq3fs5ht3d Жыл бұрын
Спасибо, твой канал очень классный! Всё кратко, понятно и по делу.
@koesh4696 3 жыл бұрын
Для 3х к подписчиков уж слишком годно! Спасибо за уроки !
@oshstreet610 3 жыл бұрын
есть такое
@shamanskiy 3 жыл бұрын
На сегодня >5.5 k. Годная динамика.
@user-hc1ne6td1z 3 жыл бұрын
@@shamanskiy Уже почти 11к
@dmitryvladimirov611 2 жыл бұрын
@@user-hc1ne6td1z 42.7к
@vladivchuk 2 жыл бұрын
@@dmitryvladimirov611 112к уже)
@short_aliexpress Жыл бұрын
спасибо за урок! офигенная подача материала.
@PythonToday 3 жыл бұрын
Таймкоды для вас: 00:00 - О библиотеке Beautifulsoup 01:18 - Установка Beautifulsoup 01:58 - Установка lxml 02:55 - Работа с основными методами .find() и .find_all() 09:37 - Методы .find_parent() и .find_parents() 11:25 - Методы .next_element .previous_element .find_next() 12:38 - Методы .find_next_sibling() и .find_previous_sibling() 13:30 - Комбинирование методов 14:25 - Как забрать атрибуты из тегов 15:44 - Поиск по тексту 16:20 - Пример использования регулярных выражений при парсинге
@1ntrigo364 2 жыл бұрын
Редко оставляю комменты, но тут грех пройти мимо... Спасибо тебе, автор, за качество работы! Я, как раз начинаю изучать, тему программирования, а твои работы как раз в тему. Подписка, лайк е едем дальше) 😎👍
@PythonToday 2 жыл бұрын
Благодарю за фидбэк!
@kolianno476 Жыл бұрын
как процесс изучения год спустя?)
@dmitriypupkin8049 Жыл бұрын
Очень понятно и доступно и исходники есть-спасибо человеку за проделанную работу!
@PythonToday Жыл бұрын
Спасибо за фидбэк! Рад что полезно
@user-mf8jd5mc9d 11 ай бұрын
Это лучший урок! По существу, без воды. Респектище!
@PythonToday 11 ай бұрын
Спасибо за поддержку!
@user-uz5lg9xd1s Жыл бұрын
Очень крутое видео. Огромное спасибо за Ваш труд!
@user-lq4pv8lj5q Жыл бұрын
Очень круто! И понятно изложено. На лекция 2 часа объясняют непонятно о чём... А тут всё ясно и наглядно.
@nicolasrudnev6800 3 жыл бұрын
ИНтересно и познавательно! Побольше таких видео!
@andrewtcoder 2 жыл бұрын
Огромное спасибо! Идеальные уроки по парсингу! Автор, ты лучший!
@PythonToday 2 жыл бұрын
Большое спасибо за поддержку!
@k-065olga8 2 жыл бұрын
Просто великолепное видео, столько удовольствия! Спасибо большое!!!
@PythonToday 2 жыл бұрын
Спасибо за поддержку! Рад что полезно.
@user-in5dy1hs2u Жыл бұрын
Ты лучший старина, спасибо за материал!
@fullrango. 2 жыл бұрын
Приятный голос, слушать одно удовольствие. Доходчиво и понятно. Спасибо за труд
@PythonToday 2 жыл бұрын
Спасибо за фидбэк и интерес!
@shurfly6961 2 жыл бұрын
Все четко и по делу, отличная подача информации и микрофон
@Xurshid_Mirzayev 2 жыл бұрын
классно. Спс. Начал изучать Парс по твоим роликам.
@chenss1857 3 жыл бұрын
Просто лучший, всё понятно и чётко объясняешь !
@PythonToday 3 жыл бұрын
Благодарю!
@georgestatefield 2 жыл бұрын
Объём информативности зашкаливае Спасибо за труд!
@PythonToday 2 жыл бұрын
Спасибо за фидбэк!
@user-um2eu1dy8t 11 ай бұрын
прошло два часа, но наконец это все понял и законспектировал , спасибо большое что оставили страницу для тренировки на github, очень хороший ролик и объяснение :] //а еще приятно видеть ubuntu , очень мне нравится она ( у самого стоит)
@Anastasia_Kobalt 3 жыл бұрын
Ты - супер! Первый канал, на котором все легко укладывается :) Даже появилось ощущение, а вдруг я смогу когда-нибудь кодить)
@PythonToday 3 жыл бұрын
Спасибо за фидбэк! Конечно сможешь, вливайся 👍
@frostek__6956 3 жыл бұрын
Предлагаю сделать ещё одно видео по этой теме) А так всё очень доходчиво обьяснил
@PythonToday 3 жыл бұрын
Благодарю. Видео будет много 👍
@ashottosha3773 2 жыл бұрын
Очень круто наблюдать за магией! Потрясающе!
@PythonToday 2 жыл бұрын
Большое спасибо за фидбэк и поддержку!
@aleksandryushka9571 Жыл бұрын
Это очень хороший курс. Спасибо огромное. С первого урка всё понятно. Ссылки на документацию пригодились. Всем рекомендую прочесть для большего понимания действий автора видео. Ещё раз спасибо.
@PythonToday Жыл бұрын
Большое спасибо за фидбэк!
@user-cm1cg2sb1l 2 жыл бұрын
Какой Вы молодец! Здоровья Вам и процветания!
@PythonToday 2 жыл бұрын
Большое спасибо! Взаимно!
@user-zw1bt3jn6x Жыл бұрын
Чувак,ты лучший!!!я начинающий питонист, на данный момент лучше тебя еще не встречал!!!Спасибо за урок,очень понятно и доходчиво обьясняешь.🍺🍺🍺
@galixu3420 3 ай бұрын
Ты братишка не питонист а аутист
@user-nv7cq8xt2k Жыл бұрын
Огромное СПАСИБО за видео и за коды на ГитХабе
@Arnur-wt3vd Жыл бұрын
Огромное спасибоза видео! Очень рад что наткнулся на ваше видео, на всякий случай сохранил в плейлист)
@PythonToday Жыл бұрын
Рад что полезно! Спасибо за фидбэк!
@AntonHHO 10 ай бұрын
Кайф! с удовольствием посмотрел и попрактиковался. ❤
@sergeyvladimirovich3083 3 жыл бұрын
Огромное спасибо. Очень доходчиво, хороший стиль изложения урока
@PythonToday 3 жыл бұрын
Благодарю 💪
@sergeyvladimirovich3083 3 жыл бұрын
@@PythonToday Было бы здорово раширить урок по пагинации. В принципе это вообще отдельный урок, так как тема, мне кажется сложная, учитывая разнообразие сайтов. Буду очень благодарен если сделаете видео на эту тему. Пример пагинации на разных сайтах и всякие хитрости.
@Crasytoser Жыл бұрын
Спасибо, очень понятно, прекрасно рассказали.
@p1ugg123 Жыл бұрын
самый полезный гайд из всех, что на ютубе
@user-po3sg7vn4y Жыл бұрын
Как всегда супер!)
@user-de7vk7gm7b 3 жыл бұрын
Прекрасно, замечательно продуманный план урока.
@PythonToday 3 жыл бұрын
Благодарю!
@i_cooler 2 жыл бұрын
Очень качественное видео. Всё подробно рассказано. Всё понятно.👍
@PythonToday 2 жыл бұрын
Спасибо!
@GreekkAlex 3 жыл бұрын
отличный урок! спасибо за гайд!👍🤘
@PythonToday 3 жыл бұрын
Спасибо за фидбэк 💪
@user-LvSerg777 10 ай бұрын
Вернулся с видео "Обучение парсингу на python #4", чтобы еще раз все осознанно посмотреть и достать текст из тега span без класса. АВТОР МОЛОДЧИНА! СПАСИБО!
@PythonToday 10 ай бұрын
Большое спасибо за интерес!
@foxaling9694 Жыл бұрын
Очень крутой видос! Библиотека сама очень очень вкусная! Спасибо за гайд!
@PythonToday Жыл бұрын
Спасибо за фидбэк!
@elenaartamon 2 жыл бұрын
Большое спасибо за видео! Очень качественные видеоролики.
@PythonToday 2 жыл бұрын
Большое спасибо за поддержку!
@marlin1222 2 жыл бұрын
спасибо большое за познавательный ролик!
@amal_kemen 6 ай бұрын
Отличный урок) и хорошее объянения) спасибо!
@PythonToday 6 ай бұрын
Благодарю за фидбэк! Рад что полезно)
@maksonaladin4033 8 ай бұрын
Офигеть, с первых минут нашел, что искал - работа с полученными тегами через список. Лайк и подписка с меня
@nadyamoscow2461 3 жыл бұрын
Огромное спасибо, очень грамотно и понятно изложен материал
@PythonToday 3 жыл бұрын
Спасибо за фидбэк!
@user-nw3gg9he4r Жыл бұрын
Хорошая подача! Спасибо!
@user-ri8ow3qh7l 22 күн бұрын
Спасибо, что код выложил, настоящий разработчик
@hieudang9017 2 жыл бұрын
Видео очень простое и легкое для понимания, спасибо!
@PythonToday 2 жыл бұрын
Благодарю за фидбэк!
@link6828 2 жыл бұрын
Огромное спасибо за урок, очень полезное видео!
@PythonToday 2 жыл бұрын
Благодарю за фидбэк, рад что полезно!
@Aleksandr_Izmailov 3 жыл бұрын
Капец, как круто! Вот сейчас я реально распечатался по Пайтону. А то сидел простые задачки решал по два плюс два складывать.
@PythonToday 3 жыл бұрын
Никогда не любил решать задачи. Спасибо за фидбэк
@intmang 2 жыл бұрын
@@PythonToday А это вы про те задачи как: нарисуйте из звездочек чайник с помощью цикла for)))
@Zeka1111g 2 жыл бұрын
подача материала отличная.все понятно.спасибо
@PythonToday 2 жыл бұрын
Благодарю!
@blackcatdevel0per Жыл бұрын
Спасибо за видос!
@arsadaul9910 3 жыл бұрын
Приятный голос, хорошее качество звука, понятное объяснение спасибо
@PythonToday 3 жыл бұрын
Благодарю за фидбэк!
@user-ge9iz9jr1z 3 жыл бұрын
ахренеть какой крутой канал, с первого видео я понял, что это супер качественный контент, а не вода! доходчиво быстро!
@PythonToday 3 жыл бұрын
Благодарю за фидбэк, рад что полезно
@zimaviolet3004 Жыл бұрын
Как же это информативно!
@user-if8rs8mo6t 3 жыл бұрын
Очень крутая и полезная информация, Вы молодец)
@PythonToday 3 жыл бұрын
Спасибо, рад стараться 👍
@akill77 2 жыл бұрын
Видео огонь. Все оочень доступно и интересно🔥🔥🔥
@PythonToday 2 жыл бұрын
Благодарю!
@Mirismail87 2 жыл бұрын
🔥🔥🔥🔥🔥 ты молодец, обучение просто бомба, все предельно просто и ясно🔥🔥🔥🔥🔥
@PythonToday 2 жыл бұрын
Благодарю!
@Stepan_bendera 2 жыл бұрын
Долго не мог разобраться в порядке перемещения по дом дереву а сейчас как осенило. Крутой урок буду смотреть весь плейлист.
@PythonToday 2 жыл бұрын
Благодарю за фидбэк и поддержку! Рад что полезно)
@dx30-ln3blank7 2 жыл бұрын
Наредкость отличный канал. Отличная подача материала, просто замечателная. Лайк, подписка, колокольчик!
@PythonToday 2 жыл бұрын
Благодарю!
@anatoliyg6070 2 жыл бұрын
Четко, внятно и понятно. Благодарю!
@PythonToday 2 жыл бұрын
Благодарю за фидбэк!
@boborustamov8661 2 жыл бұрын
Реально годное видео, без лишней информации.
@PythonToday 2 жыл бұрын
Благодарю
@SereginSF 2 жыл бұрын
Очень хороший урок, сжато и информативно.
@PythonToday 2 жыл бұрын
Благодарю за фидбэк и поддержку!
@vladimirprin263 2 жыл бұрын
Очень круто все и подробно, вообще классно❤️
@PythonToday 2 жыл бұрын
Большое спасибо за фидбэк!
@jackmetropolitan7845 3 жыл бұрын
Ооо, вот это было очень здорово! Спасибо!
@PythonToday 3 жыл бұрын
Спасибо за фидбэк!
@user-du7sz3kv4m 3 жыл бұрын
Классно объясняешь! Я рад что подписался !
@PythonToday 3 жыл бұрын
Благодарю 👍
@user-iu6vq3tw4c Жыл бұрын
Шикарно!)))Большое СПАСИБО!!!
@PythonToday Жыл бұрын
Благодарю за фидбэк!
@AnKor84 2 жыл бұрын
огромное спасибо! прям по полочкам разложено)
@PythonToday 2 жыл бұрын
Благодарю за фидбэк!
@dotauniverse3305 2 жыл бұрын
Спасибо, интересно смотреть и слушать! Ролик вылез случайно, а подписку оформляю специально.
@PythonToday 2 жыл бұрын
Большое спасибо за поддержку!
@acidandrey 11 ай бұрын
Спасибо большое для новичка самое то. Пересмотрел пару раз. И теперь буду двигаться дальше.
@PythonToday 11 ай бұрын
Молодцом! Рад что полезно. Спасибо за фидбэк!
@LD_ROBE 11 ай бұрын
Урок огонь!
@diaswarm6374 3 жыл бұрын
Спасибо большое, максимально ясно и кратко
@PythonToday 3 жыл бұрын
Благодарю
@aleksandrshugaev843 2 жыл бұрын
Автору респект за ненавязчивый и понятный стиль изложения!
@PythonToday 2 жыл бұрын
Большое спасибо!
@OptionalWolf 2 жыл бұрын
Я поставил вам лайк с помощью Python)) спасибо очень помогло
@user-cq3en5ru8p 3 жыл бұрын
Спасибо, очень крутые видео!
@PythonToday 3 жыл бұрын
Благодарю 💪
@AleksejKomarov 3 жыл бұрын
Наглядно, спасибо!
@BorisVP1967 2 жыл бұрын
Спасибо автору! Сразу начал пытаться писать парсер, для интересующего сайта. После третьего дня просмотра первого и второго видео "Обучение парсингу на Python", кое что начало получаться. Почти удалось создать путь до самого, одного из интересующих элементов на странице. Надеюсь дальнейший просмотр поможет понять, как доставать сам этот "элемент" из: элемент Пока результат исполнения программы выдаёт None , с нормальным завершением кода, что само по себе считаю хорошим знаком. О себе в программировании полный ноль, во времена СССР в школе его не преподавали.
@gesuschrist1553 2 жыл бұрын
Все максимально понятно. Спасибо!
@PythonToday 2 жыл бұрын
Спасибо за фидбэк и поддержку!
@user-fr5qc2zl4o Жыл бұрын
Это шикарно! Благодарю!!!!
@PythonToday Жыл бұрын
Спасибо за фидбэк и поддержку!
@jeyhunzeynalov777 3 ай бұрын
Спасибо Учитель :) как говорится без воды!
@PythonToday 3 ай бұрын
Сам учусь)) Спасибо за фидбэк! Надеюсь было полезно
@jeyhunzeynalov777 3 ай бұрын
@@PythonToday ✊✊✊ еще раз спасибо,и за такой открытый урок, и за такие теплые коменты.
@Adex_mn 2 жыл бұрын
Изначально начал изучать селениум, но почитал про данную библиотеку и решил перейти на нее. Уроки просто топ! Продолжайте в том же духе!
@PythonToday 2 жыл бұрын
Спасибо за поддержку!
@RandallSFlagg 2 жыл бұрын
а суп позволяет логинится?
@vide6996 Жыл бұрын
@@RandallSFlagg через post запросы
@heavenyoung2590 Жыл бұрын
классное видео, повторил всё, что ты сделал, спасибо
@PythonToday Жыл бұрын
Спасибо за фидбэк и поддержку!
@55sintez 3 жыл бұрын
Очень круто, спасибо!
@PythonToday 3 жыл бұрын
Благодарю за фидбэк 👍
@user-br4vn6id6u 3 жыл бұрын
Красава, чувак! Круто объясняешь
@PythonToday 3 жыл бұрын
Благодарю 💪
@Vivavatnik 3 жыл бұрын
спасибо! Самое толковое видео на эту тему!
@PythonToday 3 жыл бұрын
Благодарю за фидбэк 💪
@cherevko0705 3 жыл бұрын
Быстро, коротко, существенно, понятно, безумно интересно, при просмотре получаешь кайф) респект желаю продвижение твоему каналу. Большая просьба если будет возможность про nginx и докеры был бы благодарен.... понимаю что уклон от парсинга) хотя я тоже решил углубился в парсинг)
@PythonToday 3 жыл бұрын
Спасибо за фидбэк! Залил бы разом 200 роликов, но к сожалению не хватает на всё времени)
@alinaveter7371 2 жыл бұрын
Просто божественно! Мне как новичку сложно быстро воспринимать всю информацию, но я не считаю, что скорость подачи слишком большая, пойду крутить повторные просмотры, чтоб закрепить инфу
@PythonToday 2 жыл бұрын
Благодарю! Рад что полезно
@klondikegold4850 2 жыл бұрын
сначала нужно изучить html, и ознакомится с dom, тогда даже с самого нуля будет легко воспринимать
@Musikan0 Жыл бұрын
единственный человек который нормально всё обьянснил
PythonToday
Рет қаралды 223 М.
Эльбрус Буткемп: школа программирования
Рет қаралды 309 М.
Nikolay Pavlov
Рет қаралды 119 М.
ZProger [ IT ]
Рет қаралды 134 М.
Диджитализируй!
Рет қаралды 223 М.
PythonToday
Рет қаралды 95 М.