No video
Обучение парсингу на Python | Парсинг CloudFlare | Фриланс, Selenium, CloudFlare
Рет қаралды 45,275
Жыл бұрын⚡️ Практика Python ⚡️
Фриланс. Обучение (Web-Scraping) веб парсингу на Python. В данном видео разбираемся как можно обойти Cloudflare правильно настроив Selenium WebDriver для Chrome браузера.
💰 Поддержать проект:
www.netstalkers.com/private
/ pythontoday
yoomoney.ru/to/410019570956160
🔥 Стать спонсором канала:
/ @pythontoday
****Ссылки****
Дешевый/надежный сервер в Европе:
zomro.com/?from=246874
promo_code:
zomro_246874
Хороший proxy сервис:
proxy6.net/a/149995
🔥 Telegram канал с к кучей ништяков и кодом из видео:
t.me/python2day
Выполняем тестовое задание на Junior Python разработчика с зарплатой 70000р:
• Выполняем тестовое зад...
Зарабатываем на фрилансе | Requests, bs4 и телеграм бот на aiogram:
• Обучение парсингу на P...
Вычисляем по IP с помощью Python | Как определить местоположение по IP:
• Вычисляем по IP с помо...
Как узнать пароль от Wi-Fi с помощью Python | Достаем пароли от Wi-Fi точек доступа в Windows:
• Video
Что такое фишинг и как не попасться? | Генератор QR код на Python:
• Что такое фишинг и как...
Парсинг криптобиржи | Торговый бот | API криптобиржи:
• Парсинг криптобиржи | ...
Python с нуля | if _name_ == '__main__' | Зачем? И почему нужно использовать
• Python с нуля | if __n...
Асинхронный парсинг на Python | Ускоряем код в 10 раз
• Асинхронный парсинг на...
Парсинг на Python | Подмена IP-адреса | Запросы через прокси
• Парсинг на Python | По...
Парсинг динамического сайта на Python + Telegram бот на AIOGram | Requests, AIOGram, API, JSON
• Парсинг динамического ...
Пишем Telegram бота на Python + Загружаем Telegram бота на сервер(хостинг):
• Пишем Telegram бота на...
Плейлист по распознаванию лиц на Python:
• Распознавание лиц | Fa...
Плейлист по парсингу сайтов на Python:
• Парсинг/Scraping
Плейлист по Instagram боту:
• Instagram Bot на Pytho...
Плейлист по Linux для новичков:
• Linux для начинающих
CURL into Python requests:
curlconverter.com/
Код проекта на github:
github.com/pythontoday/scrap-...
И в telegram канале:
t.me/python2day
****Соц.сети****
Telegram: t.me/python2day
#фриланс #парсинг #заработоквинтернете #requests #python #selenium #заработок #webscraping #scraping #api #webdriver #freelance
@rinatyagafarov5328 Жыл бұрын
Прям супер вовремя. Тоже встрял с капчей из-за этого. Благодарности нет предела! 🔥🔥🔥
@QueryTuner Жыл бұрын
Long, long time ago I learned russian language in school. Now I use your channel to try to keep track with russian language in IT area. I still understand a lot .. some remaining stuff gets more clear when seeing the code. Thanks a lot and keep going. Greetings from Germany.
@PythonToday Жыл бұрын
Thanks a lot! Really appreciate it!
@ahmed-Alziyadi Жыл бұрын
"Я напишу этот комментарий через переводчик" Спасибо большое, я много понимаю из твоих роликов, конечно есть язычный барьер но Вы объясните лучше всех 🤝🤝
@PythonToday Жыл бұрын
Большое спасибо за поддержку!
@justforfun-yc4xz Жыл бұрын
@@PythonToday Запиши пожалуйста урок как работать с определенным Гугл Профилем 🙏🙏 Очень полезно будет для новичков. Пару таких видео нашел, через undetected_chromedriver люди открывают, но у меня не работает, что только не пробовал 🥵 У меня открывается профиль, но почему то функция get() не открывает страницу.
@12fricker Жыл бұрын
@@PythonToday а как обойти cloudflare если скрипт запускается на heroku?
@211mm2 Жыл бұрын
Просто лучший, благодарю.
@user-qk9nt4cx9h 8 ай бұрын
Спасибо огромное за идею. Все работает!!!
@inko567 5 ай бұрын
Благодарю Вас - это для меня актуально
@kevinflynn4867 5 ай бұрын
Спасибо ! Очень полезное и интересное видео !
@catdonut94 Жыл бұрын
Спасибо большое Вам за видео, а Александру за информацию.
@PythonToday Жыл бұрын
Благодарю за фидбэк!
@deus7204 Жыл бұрын
Красачик, и Сане спасибо) Благодарю за полезный контент!
@PythonToday Жыл бұрын
Надеюсь Саня прочитает) Большое спасибо за фидбэк и поддержку друг!
@user-gi6hn6oz4n Жыл бұрын
Спасибо большое дорогой друг, я долго ждал видео на базе обновленного Selentium. У тебя был курс но уже устарел! Очень помогаешь, самые информативные уроки на русскоязычном пространстве. Благодарю!
@PythonToday Жыл бұрын
Большое спасибо за фидбэк и поддержку! Да не так-то он и устарел, есть какие-то методы, но Python, как и Selenium прямо говорит что нужно заменить, всё максимально понятно) Достаточно загуглить
@vigauss1889 Жыл бұрын
Молодец! И Сане большое спасибо 😀
@user-kj4qk9vf2e Жыл бұрын
Супер! Спасибо огромное за твой труд! Александру тоже спасибо)
@PythonToday Жыл бұрын
Большое спаисбо за фидбэк!
@user-sd2jb9ut2h Жыл бұрын
спасибо. первый раз решил попробовать автоматизировать на озоне и сразу проверка такая. помогли твои действия.
@PythonToday Жыл бұрын
Рад что полезно, спасибо за фидбэк!
@gaben_aTan Жыл бұрын
Спасибо за вашу работу. Хотелось бы увидеть ролик с использованием библиотеки dash.
@tigerwatt6302 Жыл бұрын
Здравствуйте. Обычно комментарии не пишу, но вас я решил поддержать, потому что вы бесплатно делитесь такими крутыми знаниями. Спасибо за ваши видео, благодаря вам я уже пишу работающие парсеры, пока что для проектов моих друзей и знакомых, но дальше больше. Большинство скилов я приобрел из ваших видео. 🔥
@PythonToday Жыл бұрын
Большое спасибо за поддержку и фидбэк!
@user-oy9bn1gy4r Жыл бұрын
Больше спасибо!
@guitar_hedonist Жыл бұрын
Действительно работает ) Спасибо!
@PythonToday Жыл бұрын
Рад что полезно, спасибо за фидбэк!
@user-bv1lf4us7h Жыл бұрын
Очень круто, спасибо!
@PythonToday Жыл бұрын
Спасибо за фидбэк!
@partizanbanec8305 Жыл бұрын
Не зря выкладываешь ролики :)
@antonyincognito1256 Жыл бұрын
Удивительно полезный канал)) мне очень нравится!!! Продолжайте в том же духе)))
@PythonToday Жыл бұрын
Большое спасибо за поддержку!
@set1qs Жыл бұрын
Вау! Просто вау ) завтра буду тестить!
@set1qs Жыл бұрын
Вот я и потестил твой код ) супер! Все работает! Канал просто пушка!
@Zer-st6qv Жыл бұрын
Большое спасибо за практический и полезный материал, и за посты в телеге) Еще бы обзоров побольше на утилиты, понимаю что на ютубе вряд ли, но в приватке по возможности. И больше пентеста друг, большое тебе спасибо за то, что освещаешь эту тему с практической стороны ❤ С нас поддержка)
@PythonToday Жыл бұрын
Да, учусь полным ходом, со временем совсем тяжело. Конечно будем делать больше видео по пентесту) Спасибо за поддержку дружище!
@dimamihalev2986 Жыл бұрын
@@PythonToday для обхода Клауда есть либа клаудскрапе, пользуйся и не гемори с селеном
@user-he9wc4vy3v Жыл бұрын
@@PythonToday Я бы добавил, что один и тот же код на разных компах работает по разному. На одном работает, на другом нет. Отличие только в версии Chrome.
@user-je6dz7vz4y Жыл бұрын
Отличный урок. Впрочем, как всегда. Спасибо за труд!
@PythonToday Жыл бұрын
Большое спасибо за поддержку!
@samloik Жыл бұрын
Супер!!! Наконец то заработал!!!
@user-po3sg7vn4y Жыл бұрын
Hallmore, кощак и ПАРСИНГ!!!)))) Обожаю!))) Поддерживаю ребят в комментах. Можно побольше про selenium?
@axelrod4840 Жыл бұрын
ну сам видос оч полезен, спасибо)
@mrbuslov Жыл бұрын
Вау, очень круто!!
@alexqwe8567 Жыл бұрын
шикардос спасибо
@vasilyi6582 Жыл бұрын
Класс) кстати, хотелось бы побольше видео по парсингу с использованием селениум, особенно с запусками цепочек действий
@PythonToday Жыл бұрын
Большое спасибо за фидбэк! Если будет заказ, обязательно выложу видео. Ушел сейчас с головой в другое направление)
@shortvideos9955 Жыл бұрын
@@PythonTodayВ какое?)
@OLEGAROS Жыл бұрын
Крутой материал!
@igordobrynin3684 Жыл бұрын
как раз то что нужно мне сейчас
@PythonToday Жыл бұрын
Надеюсь было полезно!
@user-kn5ip9lr6r Жыл бұрын
Ух ты, спасибо. Я то привык пользоваться undetected chromedriver
@_test_test Жыл бұрын
огонь, спасибо за инфу
@PythonToday Жыл бұрын
Спасибо за фидбэк!
@taschilkin Жыл бұрын
круть, спасибо, как раз нужен был такой способ
@PythonToday Жыл бұрын
Рад что полезно, спасибо за фидбэк!
@FlintRid Жыл бұрын
Как всегда спасибо за топовый контент. Вот бы ещё знать как обойти затупы авито при использовании селениума или реквеста)
@bulik1384 Жыл бұрын
каааааааееееееееееееееееф!!!! огромное спасибо, как же это мне помогло)
@PythonToday Жыл бұрын
Рад что полезно! Спасибо за фидбэк!
@asmr_codster 7 ай бұрын
Спасибо за то видео! Искал ответ именно на этот вопрос, правда никаких cdc в консоле я не нашёл и не получилось зайти на озон. Хотелось бы ещё по playwright
@user-of3cz6rs2x Жыл бұрын
Very Nice!! Really help me!
@pungushe Жыл бұрын
Спасибо круто
@jiper100 Жыл бұрын
Канал бомба! 👍
@PythonToday Жыл бұрын
Большое спасибо за поддержку!
@user-ur1xd2sh6u Жыл бұрын
Отличный контент, для полной феерии ещё бы подмену webRtc, не удаление, а подмену
@maksbms2655 Жыл бұрын
Ещё было бы интересно посмотреть настройку selenium под максимально быструюработу, тоесть облегчить его полностью
@maxq3339 Жыл бұрын
Спасибо большое
@PythonToday Жыл бұрын
Благодарю за фидбэк!
@nashalnika Жыл бұрын
Впечатляет
@vengr3020 Жыл бұрын
как обычно круто!!!!!!!!!!!!!!!!!!
@PythonToday Жыл бұрын
Большое спасибо за фидбэк!
@user-ft7iv4bk4t 5 ай бұрын
работаю на компанию у которой стоит подобная защита, буду пробовать. Не знал об этих функциях
@internetmifu Жыл бұрын
можно чаще видео делать!!
@chimchimsterschannel161 Жыл бұрын
Прикольно
@haskelllisp5998 Жыл бұрын
супер
@sinsgames9758 Жыл бұрын
Хотелось бы увидеть подобное для лисы
@SvyatoslavR Жыл бұрын
Ех, кто б подсказал как бороться с LavaMoat в MetaMask) а видос крутой
@AndrzejShchetinin Жыл бұрын
Стянул это видео, как и учил мастер)
@zakirovio Жыл бұрын
отлично! надо попробовать в --headless режиме) буквально пару дней назад мучался, когда в оконном режиме сайт впускает, в безголовом же выскакивает заглушка. Оказывается, в режиме --headless нужно было изменять user-agent. В безголовом режиме он выглядит как chromeHeadless Browser 109.4.36.... Нужно попробовать, как у вас в видео,
@vornedmort7318 Жыл бұрын
Здравствуйте, сейчас столкнулся с этой проблемой, в headless режиме не возвращается разметка, которая видна при запуске и следственно невозможно произвести клик по чек-боксу для прохождения проверки. Вы эту проблему смогли решить? В оконном режиме кстати проверка проходит на ура.
@zakirovio Жыл бұрын
@@vornedmort7318 не знаю нужно разбираться
@Anonim-im6ln Жыл бұрын
👍👍👍
@RichZLeX Жыл бұрын
Привет, хотелось бы ещё видео на эту тему, с нюансом, как обойти капчу при парсинге)
@rkpstam Жыл бұрын
Используй установку плагинов с антикапч , к сожалению придётся сделать либо повторно запускаемый экземпляр браузера, либо установку плагина при каждом запуске.
@Proborder Жыл бұрын
@@rkpstam *Зачем? Скачиваешь расширения, закидываешь, подключаешь... Капча сама обнаруживается и решается.*
@rkpstam Жыл бұрын
@@Proborder В любом случае расширение должно устанавливаться при каждом запуске(либо быть изначально установленным, при подключении к существующему браузеру)
@maksbms2655 Жыл бұрын
@@Proborder Что за расширение, не подскажешь?
@rusik-pusik Жыл бұрын
можно и без расширений обойтись
@user-sx1ce2ub4m Жыл бұрын
Спасибо за Ваш труд. Очень полезные штуки узнаем. У меня вопрос. Наверное у вас видел про псевдо элементы парсинг. Можете на которым видео... Если честно сказать вроде все Ваше видое просмотрел так и не могу найти.
@user-km7ot8yk9z Жыл бұрын
Прикольный метод. Такое в привате можно курсами толкать, тыща рублей за интенсив по обходу клоудфлера 😀
@PythonToday Жыл бұрын
Благодарю за фидбэк!)
@vinehard5008 Жыл бұрын
Канал огонь!!!!! Рекомендую!!! Подскажите адекватную фриланс биржу?!
@rackman7413 2 ай бұрын
Буду пробовать, а то я неделю бьюсь над тем как запустить парсер мегамаркета на сервере
@romannetos556 Жыл бұрын
Спасибо за ваши видео. Скажите вы выполняете заказы? Как можно с вами связаться?
@vladislavsatilin1699 Жыл бұрын
Спасибо за отличный ролик! Друзья, посоветуйте биржу фриланса. Хотел бы сам потренироваться что-то парсить, но чтоб за это и копеечку получать
@ItsGame228 Жыл бұрын
попробуйте undetected selenium, там уже все настроено)
@Typical_Type Жыл бұрын
у селениума есть свои таимауты, как условные так и безусловные , можно без таима . интересно было бы посмотреть пример на фаерфоксе , а то селениум 4 версии с фаервокс как-то запутано иницируется
@somebytouchedmyspagget9183 Жыл бұрын
Прекрасное видео, очень помогло при парсинге ozon! p.s в описании видео стоит не та ссылка на код проекта.
@PythonToday Жыл бұрын
Большое спасибо за фидбэк! Рад что полезно!
@user-he9wc4vy3v Жыл бұрын
@@PythonToday в описании видео стоит не та ссылка на код проекта.
@user-gv7ie5jg6u 11 ай бұрын
Мне сейчас не помогает, может еще какая хитрость, которая в видео не описана?
@kirillnazarov1982 Жыл бұрын
Спасибо! А на Playwright как подобное сделать?)
@amnyam_cut Жыл бұрын
Было бы круто обзодить на реквестах, но лучше чем открывать браузер и експорировать кукисы в реквест сессию я не находил
@jackpeterson541 Жыл бұрын
как определить стоимость заказа (парсера)?
@schmoopiegrob8758 Жыл бұрын
Привет! Спасибо за видео! Сталкивался ли с защитой 'F5'? Если да, подскажи как с ней бороться)) Устал видеть "The requested URL was rejected. Please consult with your administrador."😑
@user-jg8mf5eu3p Жыл бұрын
Сейчас таким образом обойти защиту CloudFlare не получается. может кто подскажет какие есть актуальные варианты?
@burner_off Жыл бұрын
Привет, у тебя в описании указан неверный репозиторий. Перекидывает на scrap-lifetime, а нужен selenium_cloudflare.
@devopsmethodology 4 ай бұрын
Привет. Спасибо за отличное объяснения. Но на windows почему то не получается обойти эту капчу (. Несколько раз пересматривал
@onermaster 6 ай бұрын
Спасибо. А что лучше использовать, вариант из видео или undetected_chromedriver. Заранее спасибо.
@zipsit2315 5 ай бұрын
последний не работает.
@gru8299 Жыл бұрын
Приветствую, подскажите, терминал zsh? Как называется тема, где взять?
@Ybuotue Жыл бұрын
Ну всё, Озон держись.
@sergeyiv6401 Жыл бұрын
Подскажит пожалуйста, как данный обход/подход совместить с парсингом большого количества ссылок, которые генерируются мною лично для определённого сайта? Т.е. то что вебдрайвером селениума мы обходим единичную проверку CloudFlare это замечательно, но как дальше не попадать на эту же проверку, когда ссылок в работе большое количечство? Я имею ввиду, что может можно как то по типу requests.session сохранить свой "статус пройденной проверки" и дальше работать в обычном режиме?
@settips 10 ай бұрын
Как сохранить страницу теперь? Можно ли python поставить на крон?
@fanaticexplorer Жыл бұрын
А как вы так кастомизировали консоль vscode-а?
@circuit55 6 ай бұрын
Есть ли другие методы CloudFlare?
@VaeV1ct1s Жыл бұрын
Парсить хромдрайвером не тру. Показал бы как использовать барп, и сделать на чистом реквесте\айохттп
@olzhasabetaev5672 11 ай бұрын
в nodejs/golang есть библиотека cycleTLS, которая шаманит с шифрами, что бы установить нормальный TLS handshake, что позволяют пройти сквозь cloudflfare, возможно на python можно реализовать такое же решение
@PythonToday 11 ай бұрын
К сожалению пока не в курсе
@Robert-hu2zc 6 ай бұрын
что-то обновили, раньше все работало. Но теперь это не работает. Mожет быть, вы сможете найти новые решения? был бы очень признателен
@Moms-kitchen400 2 ай бұрын
Это visual Studio?
@user-fc3ir2ur9p Жыл бұрын
Ты же вроде показывал библиотеку fake-selenium, которая обходила cloudflare, она перестала работать или не в ней суть?
@stoparb357 Жыл бұрын
видимо в той библиотеке и используются эти опции
@anatolyiredko9817 11 ай бұрын
Существует ли на данный момент рабочий метод обхода CloudFlare? Потому что этот метод перестал работать с начала августа 2023 года(
@mikhan8458 8 ай бұрын
Есть, seleniumbase.Driver(uc=True)
@user-yl6wt2ki8t 5 ай бұрын
Нашли?
@-USER_NAME 5 ай бұрын
@@user-yl6wt2ki8tкак вариант использовать версию Chrome такую же как и в видео 109.0.5414 Ну или import undetected_chrondriver as uc options=uc.ChromeOptions() options.add_argument("--disable-blink-features=AutomationConrolled") s=Service("/usr/../../chromedriver") driver=uc.Chrome(service=s, options= options) driver.get(url)
@ma1lor208 4 ай бұрын
а вы нашли?
@user-jp5tj2nf6q 3 ай бұрын
@@ma1lor208 а вы нашли?
@GinderaApp Жыл бұрын
Соевый соус
@Oleg50600 3 ай бұрын
А чем не угодил selenium_stealth ?
@iprahka 10 ай бұрын
Не совсем понял почему бы просто вместо selenium в чистом виде не использовать undetected chrome driver? У меня лично Клауд не палит его и вроде как попроще решение или я чего-то не понимаю?
@rrocketr Жыл бұрын
ты лучший) А можно как-то сделать с помощью requests?
@PythonToday Жыл бұрын
Благодарю за фидбэк! Не могу сказать наверняка, пока не доводилось. Но нет ничего невозможного)
@gz1p642 Жыл бұрын
тоже интересует такой вопрос
@iolar_si 4 ай бұрын
Антибот Cloudflare и через Selenium-то, имитирующий человеческие действия, обойти сложно, а уж через requests... Возможно и есть какие-то методы, но мне кажется, это скорее всего дохлый номер :-/
@paradiseledi Жыл бұрын
Вот это топчик!
@kkplay2980 Жыл бұрын
Как пройти проверку я не робот от яндекса?
@dmitriynekrasov3098 Жыл бұрын
Можно без танцев с бубном со скачиванием и установкой путей до драйвера. Есть пакет undetected_chromedriver, все тоже самое, но проще
@PythonToday Жыл бұрын
Пробовал обойти cloudflare с помощью данного модуля?
@dmitriynekrasov3098 Жыл бұрын
@@PythonToday да, все обходится, сайт загружается. Было это месяца 4 назад. Сомневаюсь, что сейчас что-то поменялось
@PythonToday Жыл бұрын
Возможно зависит от сайта, или версии cf, т.к обновляют. Насколько помню пробовал uc, но не смог пройти
@PythonToday Жыл бұрын
Осенью ещё, может что-то обновилось в лучшую сторону для UC
@alexchto Жыл бұрын
Uc легко обходит клауд
@samloik Жыл бұрын
Как получить доступ к сайту через тор соединение? Не получается проити tls рукопожание... (((
@user-lh3ht7wg5v Жыл бұрын
что делать если в Fetch/XHR в Response нету ничего а просто цифра 1, я пытаюсь на другом сайте сделать это
@SkyGorVlad 4 ай бұрын
переписал код 1 в 1 но все равно капчу не пропустило, кто может помочь?
@user-kb4gi9xs6w 5 ай бұрын
Скачал версию Chrome 114.0.5735.90 и к ней ChromeDriver и этот метод работает, там в параметрах window.cdc_ также как в видео, но начиная с версий 115 и более данный метод уже не актуален. Если у кого-то получилось, дайте обратную связь.
@aliyashagidullina1912 Жыл бұрын
Деньги ))
@fr0s1ee 11 ай бұрын
что делать если нету такой версии браузера которая у меня?
@user-sd2qq2ik5y Жыл бұрын
Возможно ли спарсить ссылку с псевдоэлемента?
@artyomguynullin7648 Жыл бұрын
а можно использовать undetected-chromedriver и webdriver-manager и не городить "огород", но как я понял автор не ищет лёгких путей
@vladmagdenko178 Жыл бұрын
Всем привет. При попытке парсинга столкнулся с такой проблемой: "You are using an outdated browser version and can not use all features of this website. Please update your browser." Вот это все было в такой обвёртке "
PythonToday
Рет қаралды 89 М.
Школа itProger / Программирование
Рет қаралды 1,8 МЛН
PythonToday
Рет қаралды 85 М.
PythonToday
Рет қаралды 121 М.
Заметки ESPшника
Рет қаралды 4,9 М.
Python Hub Studio
Рет қаралды 72 М.