Python Selenium #2 How to change User-Agent in Chrome and Firefox browsers
Рет қаралды 83,693
3 жыл бұрынПосмотрев курс уроков по использованию Python Selenium вы сможете полностью автоматизировать работу браузера. Научитесь работать с формами, вводить данные, проходить аутентификацию на различных сайтах, менять useragent, подключать proxy, сохранять и загружать файлы cookies, запускать браузер в фоновом и многопоточных режимах.
В данном видео разбираем смену User-Agent в Chrome и Firefox.
🔥 Доступ в приват | Поддержать проект:
boosty.to/pythontoday
/ pythontoday
yoomoney.ru/to/410019570956160
🔥 Стать спонсором канала:
/ @pythontoday
**Ссылки**
Плейлист по парсингу сайтов на Python:
• Парсинг/Scraping
Instagram Бот на Python:
• Instagram Bot на Pytho...
Chromedriver:
chromedriver.storage.googleap...
Geckodriver:
github.com/mozilla/geckodrive...
Список опций Chromium:
peter.sh/experiments/chromium...
Библиотека fake-useragent:
pypi.org/project/fake-useragent/
github.com/hellysmile/fake-us...
Код проекта на github:
github.com/pythontoday/seleni...
И в telegram канале:
t.me/python2day
****Соц.сети****
Telegram: t.me/python2day
@user-qi9cu5ox3e 3 жыл бұрын
как всегда на высоте, без воды, четко по делу
@tes-rz4vt Жыл бұрын
Как я рад, что открыл для себя этот потрясный канал!
@dimasik_san 9 ай бұрын
Боже мой!!! Где ты был все это время!? Ты как спаситель пришел ко мне свыше, услышав мои крики о помощи Как же хорошо ты объясняешь, я сейчас все твои видосы пролайкаю за такой контент Спасибо тебе
@dm7324 2 жыл бұрын
Благодарю, как раз только начал изучать селениум, понадобились юзер агенты, и тут попался видос с нужным контентом.
@user-sm6du2wh7r Жыл бұрын
Приятно смотреть и слушать автора. Спасибо Вам
@AlexFeynman Жыл бұрын
Вначале видоса видно 3.51К подписчиков, а сейчас, в 2022 149К. Это очень круто, что такие уроки были сделаны очень качественно, даже когда автор был менее популярным, красава!
@vladimirfolomeev5697 Жыл бұрын
Спасибо! Это просто восхитительно. Радуюсь, как ребёнок, когда выучиваю новый раздел с функционалом)
@PythonToday Жыл бұрын
Большое спасибо за фидбэк, рад что видео интересны)
@user-vr8si2uu1k Жыл бұрын
Лучший просто, спасибо. Вернул мне мотивацию!
@nadyamoscow2461 2 жыл бұрын
Огромное спасибо. Отличный урок, все работает
@vagamin4157 2 жыл бұрын
Как же кайфово когда всё чётко и по делу
@PythonToday 2 жыл бұрын
Благодарю за поддержку!
@user-xn2nu6nc7y 3 жыл бұрын
Годно! Спасибо большое автору!
@aquabogira 7 ай бұрын
PythonToday!!! Огромное спасибо за возможность получить такие ценные и профессиональные знания!!!
@PythonToday 7 ай бұрын
Благодарю за фидбэк! Рад, что полезно
@user-de7vk7gm7b 2 жыл бұрын
Отлично, курс хорош и важен, экономит много времени !
@PythonToday 2 жыл бұрын
Спасибо за фидбэк! Рад что полезно
@eraliakylov1180 Жыл бұрын
Ты просто лучший, пж не делай пока видосы платными, спасибо тебе
@wasd1338 Жыл бұрын
Смотрю видос, думаю параллельно о том как бы не палить сайту что его парсят, типа можно составить список юзерагентов и перебирать их по одному. Затем думаю что какой-нибудь анализатор может заподозрить циркулярную закономерность и всеравно спалить что сайт парсят, тогда думаю надо рандомный выдергивать из списка, и тут автор говорит то же самое 😁 автор вообще красавчик, снимает видосы как хорошее кино, где ты чувствуешь что будет дальше)
@justforfun-yc4xz Жыл бұрын
Вот это я понимаю информативность. Спасибо, было познавательно!
@PythonToday Жыл бұрын
Благодарю за фидбэк и поддержку!
@suhrob41k66 3 жыл бұрын
videoga gap yo'q. kanalga omad
@eYVgeni 3 жыл бұрын
с нетерпением жду следующих серий
@romanbush5164 2 жыл бұрын
в новой версии это работает так driver = webdriver.Chrome(options=options, service=Service(path))
@user-ud9un8vj1b 3 жыл бұрын
Спасибо за труд, подписка со всех аккаунтов))))
@PythonToday 3 жыл бұрын
Спасибо за фидбэк! 💪
@enkifirm 2 жыл бұрын
Пока не понял зачем мне это нужно, Но если понадобится, буду знать где взять :) Спасибо. Кстати проделанное в видосике повторил - получилось :)
@Vlad1998996 3 жыл бұрын
Буду писать этот коммент, пока не будет про капчу или работу с открытым уже браузером. Люблю
@ligix101 3 жыл бұрын
Спасибо! ОЧень полезно и содержательно
@PythonToday 3 жыл бұрын
Спасибо за фидбэк 💪
@sbalymov 3 жыл бұрын
Спасибо))) Как раз использую селениум в плотную.
@brutal9586 3 жыл бұрын
В работе?
@sasmbau4978 2 жыл бұрын
спасибо огромное!!!
@user-gz4fx4sv6d 2 жыл бұрын
Спасибо большое
@flaidy-cuts 2 жыл бұрын
Я возился около 8 часов вчера так как были непонятные ошибки, переустановил все. И заработало.. Автор ты лучший, спасибо тебе!
@PythonToday 2 жыл бұрын
Благодарю за фидбэк. Молодцом что разобрался, лучшая практика.
@short_aliexpress 2 жыл бұрын
Благодарю!!!!!!!!!!!!!!!!!!!!!!!!
@Kravc_TV 3 жыл бұрын
замечательные видосы снимаешь
@PythonToday 3 жыл бұрын
Благодарю
@eXcroll 2 жыл бұрын
Thanks!
@AleksejKomarov 3 жыл бұрын
Коротко, но все понятно, спасибо!
@PythonToday 3 жыл бұрын
Благодарю 💪
@domochevsky4703 3 жыл бұрын
Лайк и коммент авансом.
@PythonToday 3 жыл бұрын
Спасибо дружище)
@stas_kats 3 жыл бұрын
Спасибо, даже любопытно что там можно на передавать )
@PythonToday 3 жыл бұрын
Благодарю 💪 Все что угодно, но лучше именно user-agent браузера)
@jagen_happy 3 жыл бұрын
Не особо такой вопрос: с запросами через request библиотека fake_useragent тоже работает? Погуглил вроде, да. headers = {'User-Agent': бла, бла.chrome} . tirinox.ru/fake-user-agent/
@PythonToday 3 жыл бұрын
@@jagen_happy конечно можно, это же грубо говоря генерация обычной строки
@sherwoodforestashe 2 жыл бұрын
видео 🔥
@user-sn6bt4su3t 2 жыл бұрын
Привет! Видео супер! Была проблема с проверкой ssl, правка useragent = UserAgent(verify_ssl=False) помогла
@PythonToday 2 жыл бұрын
Спасибо за фидбэк и информацию!
@user-xg4pd7en9d 6 ай бұрын
Всё супер! насчёт экранирования слешей.... в Windows можно ставить обратный слеш\, как и в Linux\
@R1JNCOM 3 жыл бұрын
++++ вот это действительно интересно!!
@PythonToday 3 жыл бұрын
Благодарю 💪
@user-wj1uk8db8g Жыл бұрын
Пути таким образом передавать не правильно) Нужно вот так: from pathlib import Path path = str(Path("path", "to", "file") И обязательно относительные пути, а не абсолютные))))
@user-tn3vv8zt1f 3 жыл бұрын
Благодарю
@PythonToday 3 жыл бұрын
Спасибо за фидбэк 💪
@Anonim-im6ln Жыл бұрын
👍
@alinaveter7371 2 жыл бұрын
Восхитительно! Годный контент есть, осталось только тщательно его впихивать в голову вместо того, чтобы заниматься бесполезными вещами... ну, вы поняли)
@PythonToday 2 жыл бұрын
Благодарю за фидбэк и поддержку!
@user-kc9lx1io9q 3 ай бұрын
like
@mtch9061 3 жыл бұрын
привет! А будет по видео по смене IP? Хотелось бы от тебя посмотреть гайд) спасибо за твои уроки)
@PythonToday 3 жыл бұрын
Привет, будет, на днях залью. Благодарю за фидбэк 💪
@mtch9061 3 жыл бұрын
@@PythonToday Шикаааарно) Жду) это тебе спасибо за твои видео) подача и материал просто супер!)
@PythonToday 3 жыл бұрын
@@mtch9061 ❤️
@ahil7800 2 жыл бұрын
Как всегда супер. Подскажите, при тесте появляется браузер, открывается нужная страница, но ещё появляется надпись "браузером управляет тестовое ПО". Видят ли сайты эту информацию?
@user-et4wn4kb8g 11 ай бұрын
Жаль два лайка нельзя поставить!
@PythonToday 11 ай бұрын
Спасибо за один)
@user-sr6je8zm9u 2 жыл бұрын
сырые строки это интересная тема
@ntime9881 2 жыл бұрын
Здравствуйте, подскажите пожалуйста, с чем может быть связана ошибка, с атрибутом (на видео этот момент на 5.23) options.set_preference("general.useragent.override", useragent.random) , useragent не принимает атрибут random, о чем собственно и говорит дальше - AttributeError: type object 'FakeUserAgent' has no attribute 'random' Пробовал запускать Ваш код с git hub (подумал что я накосячил где то, но то же самое) Версия python 3.8 Версия selenium 3.41.0
@isaievvitalii8253 2 жыл бұрын
Здравствуйте, являюсь Вашим подписчиком, в том числе на патреоне, возник вопрос. Спасибо Вам за Ваши уроки) Скажите пожалуйста, а на макбуке, передача юзер агента работает так же? У меня что-то не получилось, передает все время один и тот же юзерагент.
@PythonToday 2 жыл бұрын
Привет, на маке не пробовал. Но не думаю что есть какая-то разница. Читай документацию, Selenium на сколько знаю обновился, возможно что-то добавили/убрали.
@devsatkarimou6241 Жыл бұрын
Tanks bro for tuts.....how Change user agent use undetected chromedriver python ???..
@rostiinvest3898 Жыл бұрын
Будет ли туториал на селениум 4 ?
@sergsangels 3 жыл бұрын
Продолжаем глаза расширяються , медленно просыпаються хакерские гены:))
@PythonToday 3 жыл бұрын
Чёт тут не особо пахнет хаком))
@sergsangels 3 жыл бұрын
@@PythonToday ага а после 4 видео совсем не пахнет :)) создаем скриптик достаем логин и пороль жертвы, заходим в темную на сайт, делаем скриптик с 4 урока , и собираем личные данные пользователя и его действия на своей странички! Грубо сказано но как то так ;))
@user-gz7yc4vi1y 3 жыл бұрын
Друг, ответь на вопрос пожалуйста: я пытался спарсить(в учебных целях) ozon и avito с помощью BeautifulSoup, но get-запросы вместо html кода выдают какие-то словари. Это какая то защита от парсинга? Selenium может полностью заменить BeautifulSoup?
@PythonToday 3 жыл бұрын
Selenium преимущественно разработан для тестирования. BeautifulSoup библиотека для анализа html и xml. Это в принципе разные вещи, но совместимые при определенных задачах.
@user-dn9yk7hx1z 3 жыл бұрын
Где опции Firefox можно посмотреть? В Гугл не нашёл
@andrewzh4660 2 жыл бұрын
Цикл видео потрясающий. По существу: я так понимаю за закрытие окна браузера отвечает команда time.sleep(5) в блоке try. Но я ее закомментил, а браузер все равно закрывается. Это касается и Хром и Мозиллу
@PythonToday 2 жыл бұрын
time.sleep() это пауза в программе
@andrewzh4660 2 жыл бұрын
@@PythonToday Да, я уже разобрался +/-. Спасибо за ответ!
@of_youtube 2 жыл бұрын
Есть возможность через fake user-agent генерировать только рандомные пк агенты?
@BonVoyageWorld Жыл бұрын
Как было бы классно если ты был бы моим соседом 😁
@obriensmith6091 3 жыл бұрын
Сделайте видос о том как пользоваться github в проектах.
@PythonToday 3 жыл бұрын
В одно видео не войдет, запишу пару коротких
@koesh4696 3 жыл бұрын
Спасибо! Это можно создать комбайн))) НО в многопотоке есть шанс словить "маслину" в крупных соцсетях ?
@PythonToday 3 жыл бұрын
Да, причем большой. Нужно работать честно
@karugananikoyomi4702 2 жыл бұрын
Привет, как понять какие параметры можно задавать в FirefoxOptions().set_preference() в библиотеке нигде не нахожу и в гугле тоже нет документации какой-то, непонятно. Что кроме ('general.useragent.override', 'bla bla bla')
@doubleupflow253 3 жыл бұрын
Is there anyway too change http referer ?
@shuwiku 2 жыл бұрын
Если здесь кто-то есть, скажите, у вас тоже при использовании fake_useragent, при открытии просто любой одной ссылки, открывается ещё куча других? (Без модуля открывается только то, что надо)
@extridy 2 жыл бұрын
Добрый день! Не подскажете, в чем причина. Возникает ошибка при обращении к файлу веб-драйвера, хотя все срабатывает "DeprecationWarning: executable_path has been deprecated, please pass in a Service object driver = webdriver.Chrome(". И при использовании fake_useragent не загружаются сайты. Возникает 2 окна, в одном загружается сайт по указанной в коде ссылке, а в другом "Не удается найти DNS-адрес сайта %3D%20mozilla. Выполняется диагностика." Загуглить самостоятельно не удалось.
@user-jj5km1cu2n 2 жыл бұрын
На 2:14 открывается хром ,но юзер агент мозилы, как так????
@user-iq1fg2um5k 2 жыл бұрын
Всё делаю как по видео, ну самостоятельно записываю для себя что-то. Пишу символ в символ) И у меня почему то внутри скобок options.add_argument(f"user-agent{ua.ie}") задал переменную все правильно, почему то не показывает . библиотеку .ie и другие
@SeriesWOT 3 жыл бұрын
Привет, похоже я первый О_о)
@PythonToday 3 жыл бұрын
Больше всех изучаешь)
@SeriesWOT 3 жыл бұрын
@@PythonToday Да пытаюсь)), сидел думал как запустить msedgedriver, а тут хоп видосик прикольный пришлось отложить. Хотел как раз спросить можно запустить браузер msedge у меня пока не получается
@PythonToday 3 жыл бұрын
@@SeriesWOT не сталкивался с ним. Но думаю сделать можно что угодно.
@88salamon Жыл бұрын
Здарова. у меня проблема весь нет облазил не могу решить , меняю юзер агент + захожу вк сохраняю куки. пытаюсь подгрузить куки а они неподгружаются, инста работает и другие сайты а с контактом шляпа. пишу вам сансей может вы поможите решить эту проблему.
@ramismukhlisov652 2 жыл бұрын
У меня ошибки выходят в консоли, но все работает
@user-lc9bn4no7i Жыл бұрын
кто знает почему при нажатие кнопки авторизации в вк, вместо перехода на следующую страницу, открывается новая вкладка about:blank и как это исправить?
@evvy2333 Жыл бұрын
Пробовал использовать код из видео у себя. И через fake-useragent, и вбивая вручную 'hello, world' в опции, проверочный сайт всё равно точно определяет мои настоящие данные. Почему так?
@user-wg4ym8nh5b Жыл бұрын
в selenium4 юзерагент не хочет меняться, что делать?...
@user-nc8fq4bn4y 3 жыл бұрын
Здравствуйте! А будут уроки по созданию ботов для Телеграма?
@PythonToday 3 жыл бұрын
Привет, да. Планировал, интересуюсь темой
@arxxximed 3 жыл бұрын
А можно узнать примеры применения Selenium?
@user-yd2ye9ls4d 3 жыл бұрын
Например, я для себя простого бота для инсты на Selenium написал, лайкает записи(различает лайкнутые и не лайкнутые), смотрит сторис и подписывается на открытые аккаунты.
@arxxximed 3 жыл бұрын
@@user-yd2ye9ls4d Смотрите, селениум работает через веббраузер... Но ботов, и парсинг сайтов можно же написать на request... Вот и интересно, чем селениум лучше? чем оправдывается "затраты" на установку и использование web драйвера?
@user-yd2ye9ls4d 3 жыл бұрын
@@arxxximed лично мне было проще написать бота на selenium чем возиться с запросами на получение динамически подгружаемой ленты в инсте. Ну и бота для инсты я на request ещё не встречал
@PythonToday 3 жыл бұрын
Тестирование, автоматизация, парсинг, кликеры, боты. На requests конечно же можно делать. Selenium позволяет обходить многие подводные камни из коробки.
@dsmenov 3 жыл бұрын
Для чего здесь нужна "f" перед user-agent ? options.add_argument(f"user-agent={random.choise(user_agents_list)}")
@PythonToday 3 жыл бұрын
Один из возможных вариантов конкатенации. name = "Dmytro" print(f"Hi, {name}") "Hi, Dmytro" p.s по строкам есть детальное видео kzfaq.info/get/bejne/eNh4m9GosLane30.html
@dsmenov 3 жыл бұрын
@@PythonToday спасибо, коллега!
@PythonToday 3 жыл бұрын
Не за что 💪
@dmitriyzemlemerov9592 8 ай бұрын
Я указал в опциях свой нормальный профиль, но постоянно выходит ошибка после открытия браузера. Я так понял настройки моего профиля не подходят для автоматизации вэб процессов.
@dmitriyzemlemerov9592 7 ай бұрын
Не актуально, разобрался)
@rgrizzly Жыл бұрын
привет всем сейчас проше не качать драйвер хрома а билдануть его через pip install webdriver-manager
@Trendish_channel 3 жыл бұрын
В SublimeText параметр - Options вообще никак нерабортает почемуто. Как я непытался так и не смог заставить принимать его... ((
@PythonToday 3 жыл бұрын
Это ведь просто редактор кода, не думаю что он как-то связан с синтаксисом языка и библиотек
@hayksardaryan 3 жыл бұрын
А как запустить selenium на сервере где только терминал?
@PythonToday 3 жыл бұрын
Добавить опцию headless
@hayksardaryan 3 жыл бұрын
@@PythonToday там только терминал нету chrome
@user-mm8tz4vb1k 3 жыл бұрын
Приветствую! Я столкнулся со следующей проблемой: установил fake user-agent, но в проекте он у меня не отображается. Что делать?
@PythonToday 3 жыл бұрын
Привет. pip freeze. Если нет среди пакетов, значит установил не в виртуальное окружение.
@user-mm8tz4vb1k 3 жыл бұрын
@@PythonToday Спасибо) Уже разобрался :)
@PythonToday 3 жыл бұрын
Молодцом
@Dofor 2 жыл бұрын
@@user-mm8tz4vb1k проблема такая же самая, не помнишь как решил?
@Dofor 2 жыл бұрын
2 часа убил на поиски решения. Собака зарыта в том какую версию Python 32bit или 64bit использовать, вроде как на 64bit fake_useragent не запускается, но это не точно. В общем, скачал Python 3.10.0 32-bit запустил проект но проблема не решилась, кроме того, что fake_useragent не импортируется к нему добавился selenium. После этого я переключил обратно на Python 3.9.7 64-bit и все запахало. Короче как всегда магия
@user-cr2yu3tl4w 3 жыл бұрын
За что юзать этот юзер агента?
@PythonToday 3 жыл бұрын
Шта
@software9256 3 жыл бұрын
как в seleniume искать следующий элемент? find_next?
@PythonToday 3 жыл бұрын
1A 2A driver.find_element_by_xpath("//p[@id='one']/following-sibling::p")
@software9256 3 жыл бұрын
@@PythonToday я вчера сделал в список)) mesto = browser.find_elements_by_class_name('bui-f-font-body') list0 = [] for i in mesto: i = list0.append(i.text) mesto = list0[-1]
@PythonToday 3 жыл бұрын
@@software9256 Ну а что нет то, практика главное) Когда пишешь разные варианты, да еще и сам, здорово)
@software9256 3 жыл бұрын
@@PythonToday это да)) еще хотелось бы увидеть работу с рекчей2 , только что бы капчу гадал сервис антикапча и ему подобные) Очень интересует вопрос - Как токен отправить полученный от капчи в селениуме
@PythonToday 3 жыл бұрын
@@software9256 Думаю сделаем видос, мне тоже интересна тема.
@musicforrelaxationandmedit1269 10 ай бұрын
повторил все в видео, а агент не поменялся
@musicforrelaxationandmedit1269 10 ай бұрын
Сорян братан, я нашел где ошибся все супер. Работает. Что значит джун.
@user-ct3og6jo7c 3 жыл бұрын
Как поменять ip?
@PythonToday 3 жыл бұрын
Завтра расскажу
@user-ct3og6jo7c 3 жыл бұрын
@@PythonToday очень жду
@GFU472 2 жыл бұрын
В чем полезность видео если парсить 100 страниц и тебе нужно на каждую страницу разный юзер агент что бы прокси не палить) и это не работает, нужно закрывать сеанс браузера что бы изменялся юзер агент.
@satishchaudhary7875 3 жыл бұрын
English subtitle
@pixer9994 2 жыл бұрын
Ничего не получается и не работает( Даже эту ошибку хз как фиксить, все переустановил уже не один раз D:\Новая папка\main.py:20: DeprecationWarning: executable_path has been deprecated, please pass in a Service object driver = webdriver.Chrome(executable_path=r"D:\selenium_python\chromedriver\chromedriver.exe")
@PythonToday 2 жыл бұрын
Это не ошибка, а предупреждение, говорящее о том, что данный метод устарел. Легко гуглится, если гуглить не получается - то код рассматривался в этом видео: kzfaq.info/get/bejne/nN1yZ9B2lavYpok.html И никогда не используй в программировании путей с кириллицей.
@pixer9994 2 жыл бұрын
@@PythonToday Просто создавать папки на английском? И спасибо вам огромное за ваш труд, посмотрел то видео по ссылке, там ваша новая программа тоже выдает ошибку, мне бы понять как их устранять оперативно, а то вам наверное надоест отвечать на мои комментарии.
@kriv2455 Жыл бұрын
Привет, на Макос на триале выдает такое 'fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached' как его обойти?(
PythonToday
Рет қаралды 66 М.
TheSoul Music Jam
Рет қаралды 26 МЛН
Клуб дедов-программистов
Рет қаралды 1 МЛН
Заметки ESPшника
Рет қаралды 4,4 М.
Python Selenium #4 Аутентификация на сайтах | Работа с формами | Selenium Chrome и Firefox WebDriver
PythonToday
Рет қаралды 81 М.
ZProger [ IT ]
Рет қаралды 206 М.
PythonToday
Рет қаралды 7 М.