Капееец. Я никогда не видел такого понятного повествования о программировании. Спасибо чувак, удачи)

На текущий момент сайт имеет изменения отличные от видео, поэтому код необходимо будет немного дописать: 1: persons = soup.find_all('a') записать вместо persons = soup.find_all(class_='bt-open-in-overlay'), так как класса 'bt-open-in-overlay' больше нет. 2: Теперь сайт блочит от частых запросов, необходимо, что бы итерации проходили рандомно-медленно. Дописываем sleep(random.randrange(2, 4)) - я воткнул после count += 1( в теле цикла). так же необходимо будет импортировать from time import sleep и import random

ну вот, годнота!!! жду следующего)))

Давно присматривалась и искала парсинг сайта с помощью Python.Честно не смогла разобраться , а смотрю ваше видео и начинаю доходить до истины.Спасибо.

Хочу сказать очередное Спасибо АВТОРУ! За отличное объяснение и подачу! То что данный плейлист записывался около 2 лет назад, и то, что сайты немного изменились(а некоторых уже вообще нет) - это даже к лучшему! Не просто повторяешь, а сам разбираешься и вникаешь! Также хочется отметить то, что АВТОР отвечает на комментарии! Очень приятно!

Отличные видео. Спасибо автору. Практические примеры намного важнее теории, которой и так полно.

Просто и ясно!) Решил посмотреть по парсингу твои видео, которые ещё не посмотрел!)

Отличный гайд, хотелось бы все же услышать про многопоточность, надеюсь в след видео будет.

Хорошее видео на пайтон с карточками. Фриланс, классная штучка. Все четко и идеально передано автором. Все , как говорится , по полочкам. Автору за труд, лайк!

Просто идеально) Спасибо такую четкую пошаговую подачу информации 🙏🏼

Да, ваш канал это просто кладезь ценной и понятной информации. Спасибо за ваше творчество!

Спасибо за такой крутой и интересный пост! Буду следить за вашим профилем! Удачи вам!

Спасибо автору ролика за познавательное видео про мир парсинга, фриланса и удачи каналу!

Очень хотела разобраться в данной теме. Благодаря вашему видео я все поняла. Спасибо.

Хороший контент ) Желаю развития каналу

Хух.... Ооочень качественный материал, один из самых понятных в ютюбе. Удачи в развитии канала, однозначно лайк и подписка

Спасибо вам огромное!!! У вас самый крутой канал в IT направлении

Классное видео, все повторял за тобой все получилось, люблю питон но кроме него знаю еще JavaScript на нем больше сижу, сейчас тоже сайты делаю нравится, спасибо за ролик! 😁

Это самый лучший туториал о программировании))) Спасибо автору! Лайк, подписка и тык в колокольчик))

Огромное спасибо. Очень доступное, качественное объяснение.

как всегда видео урок на высоте!!!

Ну вообще супер! Молодец! Отличный контент!

Только сейчас обратил внимание, что подписчиков 200К стало! Поздравляю 🎉🎉🎉

спасибо за ваш труд удачи вам и успехов видео просто супер топ )

Спасибо, реально полезный и интересный контент.

Шикарный урок! Благодарю!

Интро твоих видео просто - зачёт👍

На данном сайте можно вывести всех участников в виде списка, там тоже есть свой GET запрос. Уже прошел почти год, но все же)) Вообще огромный респект автору, все очень доступно объясняет!)

Отличное видео, с удовольствием посмотрел и повторил. Сперва пробую писать сам, а потом сверяюсь. Очень приятный голос и подача материала

Голос нормальный, и хорошо объясняется. Благодарю!

Заказы с фриланса - это реальная практика. Делай побольше таких видео

Больше уроков по парсингу для совсем начинающих!!!

Для тех кто написал и не понял почему в именах есть значения /U+00F6/ и т.д. Проблема в кодировке. Просто допишите в: with open('data.json', 'w')as json_file: json.dump(data_dict, json_file, indent=4, ensure_ascii=False) #ensure_ascii=False!!!

Очень информативно, единственное, что смутило - это то, что в прошлых видео был немного другой код. Но как я понял - это потому что этот сайт более спокойно к парсингу относится. Спасибо за видео!

Красавчик братан спасибо большое

Очень интересно. Буду смотреть дальше.

Супер! Очень доходчиво и понятно.

Спасибо за Интересное видео и полезное информацию

Друже, благодарю! )

Мужык, ты крут класный голос, и обяснение супер + в список любимых каналов

Восхитительно! Сложно делать грамотный хвалебный отзыв, ибо я делала их на предыдущих видео, но, господа-товарищи, новенькие на этом канале, определонно годно, рекомендую!)

Нормальный ролик, посмотрел пару раз, попробывал сам, увы не получилось но то не проблема, я целеустремленный все равно у меня получиться, ее раз спасибо за разяснения в ролике.

спасибо за урок!

Годный контент

Хочу сказать спасибо комментаторам: нахожу ответы на вопросы по коду.

спасибо бро за работу. часами сижу каждую строчку по косточке вникаю

Просто огонь!

Красавчик! Спасибо!

Очень вдохновляет, учу пайтон и вот завис на парсинге, на вашем канале, перед тем как перейти к изучению классов и ООП. Спасибо за труды!

спс за наглядный пример !)

Все очень хорошо описано, спасибо вам за контент лайк, пиписка )

Круто, прошлый сайт спарсил смотря видео, этот сайт сначала сам спарсил - потом посмотрел видео

Спасибо за видео!

Спасибо за контент. То мне php нравился то nodejs теперь python полюбил

Отличные уроки! Хотелось бы увидеть разбор парсинга Яндекс карт и Гугл карт

Там кстати была кнопка чтобы показать всех людей списком на одной странице, чтобы не скакать и не мудрить с подменой чисел в ссылке. А так очень круто и понятно, спасибо за видео!

Большое спасибо!!!

Оооочень всё хорошо объяснил

Класс!

1) Автору огромное спасибо! Всё доступно и по дело. Состояниям на сейчас сайт немного изменился. 2) Строку №11 изменил на persons = soup.find_all('a') 3) Строка №33 person = soup.find(class_='bt-biografie-name').find('h3').text 4) На 103 прогоне сайт обрубил доступ. Добавил паузу в цикл.

Красава!

Классно

Круто

Спасибо.

Спасибо большое за видео, все очень грамотно объяснили. У меня небольшой вопрос, а как сделать запрос если в одном классе допустим несколько

Отличное видео. Мелко только.

Спасибо за видео! Могли бы вы еще рассказать где брать подобные заказы? В идеале видеогайд)

Спасибо!

запишите видео для новичков, или какие первые проекты писать, что бы хоть что-то начать понимать =) буду очень благодарен!)

отличное видео! но хотелось-бы чего-то посложнее. я както сталкивался с сайтов на котором не смог вытащить данные т.к. по нужному мне тегу выдавалась абсолютно другая инфа которой не было на этой странице.

Отличный способ заработка на фрилансе. Парсинг сайта с помощью питона удобнее, чем, допустим, на яваскрипте.

Доброе время суток, отличный контент, но то что ты делаешь не видно, может нужно увеличить шрифт.

Начал изучать питон ) надеюсь у меня все получится

В ходе просмотра увидел, что можно было поменять отображение всех членов на одной странице в алфавитном порядке, поймать запрос при нажатии на эту кнопку и получить единственную страницу со всеми членами, чтобы в дальнейшем не перебирать по 20 человек

Почитал комментарии и был крайне удивлён, что никто не задал вопрос, где вы нашли такой простой заказ за 40 долларов. Я на биржах постоянно получаю заказы где нужно подставлять разные юзер-агенты, прокси, где необходимо всё делать через авторизацию и за это не готовы платить больше 1000 рублей за которые ещё нужно побороться, потому что все снижают стоимость до 400-500 рублей. А тут 40 долларов. Это же больше чем 3000 рублей. ГДЕ? КАК? Неужели конкуренты проспали? Или просто повезло?

Спасибо! Сделал всё по шагам! Получил результат! Возник один вопрос. Подскажите, пожалуйста, почему эти две строки кода with open('data.json', 'w') as json_file: json.dump(data_dict, json_file, indent=4) находятся внутри цикла по ссылкам? Может быть имеет смысл вынести из этого цикла наружу?

Добрый день, я немного не понимаю, а зачем создавать в начале виртуальное окружение, разве при создании проекта в PyCharm он это не делает? и другой вопрос есть хороший материал где ни будь по теме виртуального окружения?

Отличный контент, благодарность автору. Товарищи подскажите как комментировать блок кода в пайчарме, с помощью #, но не каждую отдельную строку

сайт изменили, убрали класс из тегов , поэтому методом проб и ошибок понял, что нужно писать строку persons = soup.find_all("a") вместо строки persons = soup.find_all(class_='bt-open-in-overlay') но у меня получилось только 37 ссылок вытащить, сайт больше не даёт

вот что странно, я вытягивал ссылки со страницы с полным списком участников, поэтому изначально сохранял именно ее и не делал отдельный файл, для ссылкок, просто нашел их в сохраненном хтмл файле страницы списка, спарсил и засунул в список в коде, после чего погнал этот список дальше по циклу с переходом по ссылкам из него, и вот в чем проблема, он скрипт по какой то причине зацикливал первый элемент списка, т.е. проходил по первой ссылке, заканчивал ее и снова шел на первую ссылку, в итоге не придумав ничего лучше я добавил блок с сохранением ссылок в отдельный файл (как было и тут, только до этого процесс чуть иной), закоментил весь код ниже, перелил ссылки из списка в отдельный файл и потом из него же вытащил обратно в новый список с комментированием кода сверху и о чудо, по новому списку пошло как по маслу (с третьего раза, первые два видимо сайт огрызался т.к. сначала на 5 карточке ошибку выдавал, мол атрибут find('h3') не найден, потом на 22, тоже самое, оба раза зашел перепроверил по ссылкам все ок, ничего не меня запустил в третий раз - прошел полный цикл до конца). Причем это зацикливание внутри списка вытянутого с сохранней хтмл страницы уже не первый раз, перед этим парсил сайт стартапов, из комментов с прошлого урока, там такая же фигня, прохожу на страницу стратапов, там захожу в карточку вытягиваю лого название и описание идеи, так там если вообще история, если код обращения к сайту закомментирован то цикл зацикливает первую карточку на странице стартапов, если не закомментировано, по проходит нормально, по очереди одну задругой 🤨🤔 (что за ситуевина пока хз, либо я не понимаю чего то очевидного, либо это что то неочевидное) - если кто сталкивался и знает в чем может быть причина - буду благодарен разъяснение

Спасибо за контент! Вопрос - (я нуб в программировании) - что мне нужно изучить ДО парсинга в питоне? И насколько тяжело новичку брать заказы на фрилансе?

Видео ТОП Почему dump в цикле, оно постаянно заново все записувало?

А где брать заказы ? Тоже хочу обучиться программированию, подскажите пожалуйста кто-то

Почему нельзя не задавать offset, а просто подставить limit = 99999, таким образом достав все карточки, все равно на бэке это подставляется в запрос. Таким образом можно уменьшить кол-во обращений до 1

Спасибо огромное! А можно без формирования нового списка обойтись (lines = [line.strip() for line in file.readlines()]) (6мин. 30 сек. видео) и как-то считывать ссылки из уже готового файла? Извините за глупый вопрос.

Здравствуйте, подскажите на каком сайте можно найти заказы?

Может мне тоже пора заняться фрилансом? Ведь этот заказ даже я могу сделать

только перезапись json-а на каждой итерации идет. -tab надо

здравствуйте. В google chrome в Devtools открываю вкладку Network, но у меня не появляется столб метод. Соотвественно не могу найти на какую странице отправляется запрос. Preserve log ставлю галочку, но все равно не получается. Подскажте, что не так

Здравствуйте, в чем разница .content и .text у объекта полученного из requests.get, soup как я понял принимает оба варианта?

ПАСИБ!!!ПОНЯЛ ВСЕ О СЕЛЕНИУМЕ А ТО НЕФИГА ЗА ДВА ДНЯ ИЗУЧЕНИЯ ДОКУМЕНТАЦИИ НЕПОНЯЛ.Акак работать с капчей? при работе с формой вот например с фейсбуком или любой другой сайт.

Почему вылазит ошибка TypeError: Object of type Tag is not JSON serializable когда в конце сохраню данные в json файл?

А, и ещё моментик, видно щас всё на сайте изменилось и щас сайт при таком парсинге, скидывает тебя в архив, где нету контактов этих депутатов, что в таком случае делать? Тип, сейчас он по ссылкам, которые мы получили в текстовом файле, кидает на архивы этого сайта. А когда имя из архивного сайта ищешь на обычном, он выдаёт что 404.

Сайт теперь не очень лояльный. На 108 строчке парсинг оборвался.

на 6:25 ты сделал весь текст серым и чтобы пайчарм его не видел, можешь сказать пожалуйста сочетание кнопок

Не часто встретишь ютубера, работающего на линуксе

Написал в телеграмм. 25-го! Можно как-то связаться?

Здравствуйте, я хочу извлечь данные с иностранного сайта. За определенную плату. вы можете помочь?

здраствуйте, ваши курсы просто бомба! Но у меня возникли проблемы! Я не могу сохранять ссылки или HTML код, пожалуйста подскажите мне что делать. А иногда само HTML код невозможно получить.

в строке № 36 person = soup.find(class_='bt-biografie-name').find('h3').text выдает ошибку: person = soup.find(class_='bt-biografie-name').find('h3').text AttributeError: 'NoneType' object has no attribute 'find' Подскажите, пожалуйста, как исправить. Весь код такой же как у вас. Не могу найти ошибку