Дуже цікаво і практичні приклади. Молодець. Почну вивчати програмування по Ваших прикладах, практичний досвід реальний. Дякую!!!!!!!!!!!!

Спасибо большое за такой отличный контент 👌👍 Благодаря ему втянулся в тему парсинга и сейчас работаю над своим первым проектом в этом направлении. Хотелось бы ещё отдельное видео, посвящённое теме заполнения форм на сайте с использованием requests. Спасибо 🤝

Спасибо большое за видео!!! Ваши видео просто офигенны! Немного теории + море практики + дополнительная инфа для конкретных задач, которые в будущем может встретить любой парсер

Спасибо за очень полезный и структурированный контент! После ваших видео не остается ни одного вопроса, а появляется желание открыть атом и начинать писать код :) Хотелось бы увидеть видео о сборе спарсенной инфы в бд (например, sqlite). Столкнулась с проблемой засовования вложенных словарей причем разной структуры и перелопатив интернет ничего годного не нашла. Благодарю за ваш труд!

Как всегда на высоте! Больше видео про парсинг богу видео про парсинг! :)

Братишка ты просто Красавчек, мотал я душу гугловским алгоритмам, как я долго тебя искал ....... Четко и по делу !!!!!!! Не бросай это дело

Спасибо. Для меня вы гений. Я уже 7 месяцев учу Питон (и в целом програмирования и линукс). Спасибо за качественые видео! Блогодаря таким людям как вы, новичкам легче учить! Буду дальше учить. Удачи и вам!!!

Вернулся в данный плейлист после краткого ознакомления с selenium. Летим дальше! Спасибо Автору!

Спасибо, не хватало этого.

Котан снова в деле 😀👍 Спасибо тебе за практику! Аналогов не сыскать. з.ы, не думал постримить, пообщаться "вживую"? Думаю много кто подключится.

Как всегда супер видео!

за котяру отдельный лайк =)

Спасибо за видео! Пойду просматривать плейлист по selenium.

Хороший контент. Благодарю. Интересно и информативно.

Спасибо, шикарно, мне этого не хватало

Спасибо тебе. Ты очень доступно объясняешь !!!

Опа, оказывается в Python есть библиотека эмулирующая работу браузера. Познавательно, полезно, прекрасно. Благодарю за ценное видео.

Отличнейший контент! Спасибо тебе большое!

Ты бы знал как я рад, чуть стул не сломал во время прыжка на радостях XD Спасибо огромное!!!

спасибо.здорово.было бы интересно посмотреть ролик,где больше активных действий типа click, onclick, onmouse. а так же парсинг через selenium shadow dom. или же парсинг json

Очень здорово! Спасибо Вам!

Огромное спасибо за ваш труд! Это лучший контент. Мне 41 и я решил обучиться программированию для воплощения своих идей в программы которые помогут мне работать с финансами и активами. Но для того, что бы это воплотить я должен понять как всё это работает! Очень много для меня новой, неизведанной информации которая удивляет и завораживает. Изучать новое и не понятное для меня, одно удовольствие. Читать книги это важно, но без практики и хорошего человека который объяснит как это работает очень сложно. Очень много вопросов как это всё работает и всегда хочу находить ответы. Ваш контент отвечает не на все мои вопросы но помогает обрести понимание и самое главное навыки. Благодарю еще раз за ваш труд. Не бросайте это дело так как мало Русского контента который помогает новичкам обрести понимание да и не только новичкам. Да и огромный потенциал в этом направлении как для вас так и для нас.

Привет, можно с помощью этих библиотек скачать картинку с лучшим разрешением через «поиск картинки в гугле»? Если нет, то какими библиотечками воспользоваться?

Спасибо тебе огромное))) Видео супер)

Коротко и ясно. Спасибо.

Только залетел))) и уже лайк и подписка!

Спасибо большующее! Продолжай делать такие разборы - очень сильно прокачивают нас. Хотелось бы увидеть ролик, где чтобы получить необходимые данные, надо сначала что-то заполнить в input или select, и только после этого появляется страница, которую надо спарсить

Спасибо за урок)

Вау! Просто вау! Буду тестить данный метод с сайтом Zillow который уже сломал мне мозг )) обожаю этот канал!

Все шикардосно и полезно, не могу понять людей которые дизы ставят, больше чем на 100% уверен что это те которые сами ни чего делать не могут.

День добрый. Смотрю, что работаешь через Visual Studio. Такой вопрос, а как была решена проблема с "UTF-8"? Я делаю запросы на наши сайты , а мне выдает ошибку по этому шифрованию. Когда делаю на английские, то все норм. Как решился вопрос с кириллицей?

Очень клёво)) Есть наработки по парсингу у меня но это тоже очень полезно)

Спасибо уважаемому автору! Идея для будущего урока: Парсинг и сохранение видео-стримов и данных в формате blob:http

Всё круто! Спасибо за видео, только у меня вопрос, а нужно ли ставить слип после get запроса на страницу в селениуме? Как я понял запрос сам по умолчанию ждет когда страница прогрузиться, или я ошибаюсь?

Спасибо, очень интересно и полезно.

Здравствуйте, А как можно получать данные с сайта которые постоянно обновляется?, если сделать запрос то выдается данные на момент запуска кода а мне нужно чтобы всегда данные были свежие

а если у меня драйвер в формате exe я просто установил его? мне тогда просто указать путь до exe?

1. Параметр executable_path больше не используется в текущей версии selenium`a, теперь вместо него нужно передавать экземпляр класса Service: Python: импортируем: from selenium import webdriver from selenium.webdriver.chrome.service import Service после try ваш код меняется на : try: s=Service('C:/Users/User/Desktop/Python/обучение 2/geckodriver.exe') (указываем свою директорию) driver = webdriver.Firefox(service=s) driver.get(url=url) time.sleep(5) или можно просто добавить chromedriver.exe в PATH и использовать без параметров driver = webdriver.Chrome(). 2. Еще момент: вылезает "'charmap' codec can't encode character '\u20bd' in position 97452: character maps to " меняю кодировку на "utf-8" with open("index_selenium.txt", "w", encoding="utf-8") as file: и потом записаный код в этой кодировке уже не прочитать нормально короче тут я застрял, кто шарит помогите

После просмотра видео пошел и залпом просмотрел плейлист по Selenium, и если я правильно понял, он больше служит для автоматизации работы с браузером, ну и для тестов где требуется имитировать нажатия клавиш и взаимодействея с различными элементами на странице. При этом, хоть часть его функционала и позволяет возвращать данные со страниц что бы их сп... кхм... спарсить)), на практике получается bs или чистый lxml будет более правильным выбором, т.к. меньше грузят систему и в целом более ориентированы под данную работу, следовательно имеют более широкий функционал и производительность (например если нужно обработать большой массив данных). Selenium же больше подойдет, если по какой либо причине сайт жмотит данные через отправку запросов (хотя тут оч странно, ведь эмулируя взаимодействие с элементом, например кликом по кнопке, мы по сути просто активируем скрипт отправляющий запрос с определенными параметрами, на сервер... хотя может я и ошибаюсь, поправьте пожалуйста если что не так, буду знать на будущее), то есть когда для того что бы позаимствовать информацию с сайта, нам проще (или необходимо) имитировать взаимодействие пользователя со страницей и собрать данные с прогруженной страницы.

Добрый день, подскажите где искать headers на маке?

3:27 подскажите почему не создает Html файл когда запускаю код, все сделал так же система Win 10

Видео полезно...👍 Автор подскажи варианты пожалуйста тессеракт или опенСиВи для распознование текстовый картинок?? (Для капчу, мне скорость распознование очень важно)

Благодарю за урок Сегодня такое как раз было, столкнулся с невидимыми див блоками

Спасибо! Полезно!

Спасибо большое, с первым методом у меня не получилось, когда я переходил по ссылкам сайт меня перенаправлял на главную страницу, а вот со вторым метод все отлично, спасибо за такой контент

Хороший видос!

благодарю.

есть сайт с которого надо инфу спарсить Но там стоит клауд а селением я так понимаю не проходит его?

кошак просто стал символом канала. Крутой кошара

Очень круто . Как раз именно на это месте вчера остался сам учусь . Только у меня момент может быть такое например KZfaq selenium открывает так же сохраняю страницу в переменную но там не все ? Это проблема в загрузке или есть что то еще чего я не знаю ??? Пожалуйста 🙏 ответь Огромное спасибо тебе за труды

Топ!!!

Не создаётся html файл в корне PyCharm, код выполняется а файла нет, подскажите куда копать

Мне кажется пора на частичную монетизацию курсов для новичков надо переходить. Всё видео классные. Было бы прикольно обучаться по группам (платно естественно)

Что делать, если не дает пройти аутентификацию через гугл, другую нет возможности использовать..

Добрый день. Спасибо за видео очень интересно. Немого бы подсказать. Как сделать парсинг с сайта с тестами и как в итоге получается. Спасибо

А диз поставил админ сайта ))

Подскажите, как можно запарсить яндекс дзен? вообще какую-то фигню выводит

Как отформатировали html на 3:30 что за хот-кей, подскажите пожалуйста

Подскажите, а не сталкивались с выгрузкой, где есть псевдоклассы ::before например...никак не могу их обойти

Спасибо за уроки! Сейчас столкнулся с тем, что код сайта не совпадает с тем, что я получаю через requests. Полез смотреть этот урок. Скажите, пожалуйста, если при исследовании запросов я нашел запрос, который при открывании в новой вкладке дает следующий текст: "Error 1020 Access denied. What happened? This website is using a security service to protect itself from online attacks." Такую защиту простому новичку уже не обойти? Это сайт маркета с игровыми предметами. Хотел парсить нужные мне позиции и отслеживать цену.

Привет, подскажите, как можно организовать поиск если нет классов, только теги, а нужная информация лежит в тегах , в них есть style=....

Спасибо огромное за уроки, очень понятно все...Пробую парсить сайт, попробовал все возможные способы, но с помощью request не достается весь код со страницы, а на странице нет api ссылки, вот не знаю как подобраться, все видео посмотрел...

А где можно взять заказы?

Очень интересно, хотя я в программировании совсем ламер)

как говаривают классики: - ничего не понял ,но оч интересно. Лайк и подписон от старичка - студента =)

Спасибо! ;з

Большая просьба показать как можно спарсить конкретные данные уже из самого расширенного блока страницы к примеру продажи квартир, дата создания и редактирования и № телефона находятся в конкретной отдельной ссылке одного блока куда надо отдельно заходить. Как можно объединить поверхностный парсинг с инфой которую нужно достать через проход в углубленные ссылки данных !!!!

Сделай тему про обход защиты cloudfire

Бро, запили видос про авторегер аккаунтов на каком либо сайте, где брать интернет запросы и как их повторить на питоне.

Видео класс! НО Вылезла ошибка: "AttributeError: 'options' object has no attribute 'set_preference'" Помогите решить

Давай след видос про авторизацию через гугл

Блин, круто! ПОлучается это все можно делать и с сайтами типа sofascore и подобным им? У софы есть api, но там сложно найти инфу которая нужна

Добрый день, не получается скачать библиотеку с терминала подскажите что делать, пишет что 'pip' not recognized

selenium сохраняет пустой файл, в чем может быть причина ?

Качественные уроки, спасибо, а как ты выделяешь и комментируешь сразу несколько строк? Я когда пытаюсь так сделать, у меня просто одна решетка ставится, а код удаляется

какой же ты крутой мужик, дай бог тебе никогда не болеть и жить счастливо!!! ЕСТЬ ВОПРОСЫ не могу разобраться с заголовками: в первом видео плейлиста ты забирал заголовки accept и user-agent в последующих видео тебе хватало только user-agent сейчас ты забрал: accept, accept-encoding, accept-language, cache-control, connection и user-agent как понять какие заголовки мне нужны в переменной headers и по какому принципу их выбирать? А еще есть ли разница в каком гет запросе брать эти заголовки? Часто замечаю что во вкладке network прилетают несколько разных запросов и тот же user_agent лежит почти в каждом, но не в каждом запросе лежат одни и те-же заголовки. И если есть разница, то как определить нужный нам запрос?

у меня в файле html символы не понятные,как поменять метод шифрования?

в предыдущих уроках прриходилось гуглить и искать решения, потому что код сайта поменялся с момента как Вы отсняли ролик. Но в этом уроке наоборт сайт изменился в лучшую сторону и его можно спарсить через requests. Но я все равно повторяю пример с селениумом чтобы научиться. Кстати информация для таких же студентов как я: если сохранить страницу а потом удалить из нее все JavaScript элементы то можно без проблем просматривать ее содержимое и полезный контент. Я так понимаю через яваскрипт тут отключено отображение полезного контента. А если просто парсить без просмотра через BeautifulSoup то проблем не будет ведь JavaScript работает только в браузере.

Можно видео где будешь решать капчу с помощью запросов, ну и какого то сервиса пример рукапча

Ребята, помогите, пожалуйста, на 3:26 как из строки код привести в нормальный вид?

Какой редактор кода используете? Как называется?

котэ 1yoбывает! Спасибо за видео!

В headers в этот раз указано много вводных в отличие от прошлых примеров, с чем это связано , кто знает киньте ссылку на правила пл которым эти заглдовки нужно прописывать , я например вообще их не указал и данные с сайта вме равно получил без всяких банов.

Доброго времени суток Сам подобную решал за счёт одного селениума, именно при помощи get_attribute. Насколько бы тут работало, или лучше, но Вы тут тоже юзали селениум.

Возможно у вас будет ошибка. Замените в try driver на driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=options)

смотрю на все это, мне это предстоит изучать. Страшно и интересно одновременно )

То есть Selenium подгрузил весь HTML, в отличии от bs4?

11:47

Спасибо большое! Хороший способ. Жаль, что до конца не показана вся работа в одном видео. Сайт-то не из простых. Ведь Вы спарсили только первые 100 ссылок. А хотелось бы посмотреть как спарсить все, а потом получить инфу по каждому отелю.

Всем Привет, у меня проблема в следующем : когда открывая файл index.html , вместо кода кваказябры какие-то) encoding="utf-8" не помогает( . Подскажите пожалуйста, автору спасибо огромное за его труд!

Класс!) Подскажи пожалуйста, как ставить массово комментарии через решетку?

Скажите а на windows это так же будет работать?

было бы хорошо показывать паралельно с уроками по парсингу другие полезные фишки питона. Например такие как односторчные генераторы или фильтрация по лямбда функции. Захотелось детально распарсить скачанные карточки(вытащить ссылки на фото, описание и тд) пришла идея сохранить такие данные как ссылки на фото в список а потом записать в json но получилось слишком нагроможденно, а потом вспомнились генераторы списков и функция фильтр

Есть библиотека типо Реквест только с поддержкой JS и она может как раз собирать Такие вот ссылки, я видел как ее использовали но у самого руки не дошли, хотелось бы увидеть примеры ее использования в виде гайда.

В благодарность, напишу бота, который накрутит тебе лайки. Огромный респект.

Зачем сохранять страницу в файл и только потом ее парсить bs4, если можно парсить ее сразу средствами selenium без использования лишних библиотек и перезаписей файла?

У меня у одного отели не грузит?

я под хром сделал и 3 ошибки в коде словил....час ищу исправления и никак

Только прошел этот урок. Теперь оказывается не надо скачивать драйвер и ставить его в директорию потом в параметрах указывать путь. Сейчас скачивается библиотека webdriver-manager и все импортируется оттуда в проект. Объект driver = webdriver.Firefox(service=Service(GeckoDriverManager().install()))

Сделайте так чтоб данные от парсинга шли в телеграм бота