Скрейпинг сайтов с помощью библиотеки Scrapy

Рет қаралды 30,773

Күн бұрын

ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА
____________
❗❗❗Так называемое Министерство юстиции РФ признало «Важные истории» «нежелательной организацией». Так что репост этого и любого другого нашего видео может караться штрафом, а повторный репост - уголовным делом.
Но никто не может запретить вам смотреть и думать. Поэтому подписывайтесь на наш канал, просите подписаться своих друзей и оставайтесь с нами - в это темное время выжить мы сможем только вместе.
____________
Как скрейпить данные с помощью библиотеки Scrapy? Учимся на примере сайта книжного магазина.
🔹Туториал по Scrapy
➡️ github.com/iStoriesMedia/Scra...
🔹 Текстовая версия
➡️ istories.media/workshops/2021...
🔹Подписаться на рассылку Мастерской «Важных историй»:
➡️ mailchi.mp/istories.media/wor...
🔹Telegram-канал Мастерской
➡️ t.me/istories_workshop

Пікірлер: 66

@istories_workshop 2 жыл бұрын

❗❗❗Так называемое Министерство юстиции РФ признало «Важные истории» «нежелательной организацией». Так что репост этого и любого другого нашего видео может караться штрафом, а повторный репост - уголовным делом. Но никто не может запретить вам смотреть и думать. Поэтому подписывайтесь на наш канал, просите подписаться своих друзей и оставайтесь с нами - в это темное время выжить мы сможем только вместе.

@TheJonvish Жыл бұрын

Здравствуйте. Можно ссылку на тот материал из за которого вас признали «нежелательной организацией»?

@whosane9923 6 ай бұрын

Что значит "так называемое"? Вы клоуны если являетесь иноагентами , говорите об этом и всё. А сказки про уголовные дела за репост, это вы бабушке своей рассказывай 😂

@Amigun_yo Жыл бұрын

"yield - это ключевое слово в scrapy, которое позволяет выполнить разные действия" - это, конечно, мощно

@antont5229 Жыл бұрын

Тоже резануло ухо от этой фразы )))

@gutis_g 4 ай бұрын

women @@antont5229

@den-rad 2 жыл бұрын

Никогда бы не подумал, что исчерпывающую информацию по python библиотеке я получу на ютюб канале СМИ, которое признано инагентом :) Удачи вам!

@nurlansalkinbayev3890 2 жыл бұрын

Здравствуйте. Спасибо вам за работу и видео. Очень подробное объяснение, такое редко встретишь на KZfaq. Ещё раз спасибо.

@MrFerting 2 жыл бұрын

Хочу отметить, что подача материала очень легкая. Несомненный плюс, что вы обучаете предметно. Материал запоминается проще и есть желание искать доп. информацию самостоятельно. Молодцы, что тут сказать. Видно, что любите свою работу и делитесь знаниями бесплатно.

@istories_workshop 2 жыл бұрын

Спасибо! ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

@Crwbsko Жыл бұрын

Очень хорошая подача, всё наглядно и понятно

@alexeytsar 2 жыл бұрын

Ура! следующая серия

@user-vd7nm7mx2c 2 жыл бұрын

Спасибо, очень доступно и понятно, так держать!!!!

@istories_workshop 2 жыл бұрын

Спасибо!) ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

@lostinchineseroom 2 жыл бұрын

вы большие молодцы, что ведёте эти серии. прям совсем молодцы

@Rinova638 2 жыл бұрын

Со 2 раза все понял , спасибо Вам )))

@aleksey2408 2 жыл бұрын

Спасибо большое за весь ваш материал на KZfaq !!!

@istories_workshop 2 жыл бұрын

Спасибо, что смотрите) ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

@oldlipton3443 2 жыл бұрын

Спасибо за паука🕷️, и с возвращением!

@talgatmustafin5236 Жыл бұрын

Здравствуйте! Можно ли Scrapy использовать в Jupiter notebook? Пытаюсь найти ответ в интернете, безрезультатно.

@Denmark1150 2 жыл бұрын

Прикольно

@isagidaiki Жыл бұрын

Огромное спасибо!!!

@vladimirantonov4506 Жыл бұрын

Можно просто scrapy shell "" - минуя fetch... Хорошее видео!

@slavpetrovich32 Жыл бұрын

Цена этому уроку "yield - ключевое слово в скрэппи". Думайте

@herman_guilliman Жыл бұрын

на этом моменте человек которому заплатили за написание урока решил схалтурить, а я заорал как резаный

@genylivnev7822 Жыл бұрын

День добрый! На 8:40, вы показываете название класса, которое нужно вставить в response, что бы найти ссылку, а когда проверяете в scrapy shell название класса совсем другое, это как? По названию видно, что наверное вы тянули ссылку на изображение

@akim7130 9 ай бұрын

Пробую отправить response, но в ответ приходит пустой список, пробовал и за id зацепиться и пробелы заменил на точки - не выходит. Сайт не динамический. В чем можем быть проблема?

@talgatmustafin5236 Жыл бұрын

Здравствуйте! Что за ошибка raise KeyError(f"Spider not found: {spider_name}")?

@user-hl7cl7nl9w 2 жыл бұрын

Можете подсказать как не нарваться на капчу или обойти её?

@user-kd1zc7bp2t Жыл бұрын

У меня после запуска паука, такая вот краказябра в логах: ignoring response 520 http status code is not handled or not allowed. В итоге файл создаётся, но он пустой(

@daddy_eddy 2 жыл бұрын

Умничка! Жаль по Scrapy в рунете НИЧЕГО нет. А так хотелось бы увидеть на практике парсинг динамических сайтов и API.

@tatyanabitkova392 Жыл бұрын

Кто вообще сидит в рунете

@user-ct4xv3er7q 2 жыл бұрын

капец. Без знания основ синтаксиса, напоровшись на значение класса написанное с пробелом, можно всю схему завалить. Чуть башка не лопнула, пока пытался догадаться, как выкрутиться или в чём ошибся.. И о чудо.. этот моментик, решён в следующем ролике. Скрапи-2. Ваще жесть. Сколько ещё таких подножек я поймаю в будущем )))

@markhavidzer7249 Жыл бұрын

Разве в приведенном примере кода мы не соберём первую страницу раздела дважды?

@SleepMashine Жыл бұрын

Хорош ваш ужвак)

@hulitolku Жыл бұрын

Любимый писатель Пелевин.

@user-wc1kx5zr3k Жыл бұрын

На винде не выделяется цветом ответ и запрос, в терминале, у меня выбор cmd/ps1 только а там Python

@user-wc1kx5zr3k Жыл бұрын

Разобрался, нужно было добавить цвета в settings.json "workbench.colorCustomizations": { "terminal.background":"#000000", "terminal.foreground":"#D0D0D0", "terminalCursor.background":"#D0D0D0", "terminalCursor.foreground":"#D0D0D0", "terminal.ansiBlack":"#000000", "terminal.ansiBlue":"#0066FF", "terminal.ansiBrightBlack":"#808080", "terminal.ansiBrightBlue":"#0066FF", "terminal.ansiBrightCyan":"#00FFFF", "terminal.ansiBrightGreen":"#33FF00", "terminal.ansiBrightMagenta":"#CC00FF", "terminal.ansiBrightRed":"#FF0000", "terminal.ansiBrightWhite":"#FFFFFF", "terminal.ansiBrightYellow":"#FF0099", "terminal.ansiCyan":"#00FFFF", "terminal.ansiGreen":"#33FF00", "terminal.ansiMagenta":"#CC00FF", "terminal.ansiRed":"#FF0000", "terminal.ansiWhite":"#D0D0D0", "terminal.ansiYellow":"#FF0099" }

@user-bo2gp3pi4k 10 ай бұрын

Розамунд Пайк не ваша сестра случайно?

@uvencosuper3471 2 жыл бұрын

Тут вообще началось "как нарисовать сову" )

@istories_workshop 2 жыл бұрын

🤔🤔 ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

@xe34__47 Жыл бұрын

сидят как-то 2 паука в джакузи

@user-zw8wu9fo1s Жыл бұрын

меня просто это убивает, с помощью питона вы сможете парсить всё что захотите, а что блять мне делать если у меня не двести

@vladtroshin421 2 жыл бұрын

А как скрапить данные со страниц с Ajax, которые бесконечно прокручиваются вниз ?

@istories_workshop 2 жыл бұрын

Об этом можно почитать в документации библиотеки Selenium, но возможно мы сделаем об этом отдельный урок :) ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

@daddy_eddy 2 жыл бұрын

@@istories_workshop Я думаю огромноеколичество народа посмотрит такое видео. А еще бы про шаблоны Scrapy расскажите плиз.

@ValorantBaku Жыл бұрын

что делать если получаю 403

@ArtyomSmirnov-ds1gp Жыл бұрын

Отличное видео! Отвратительная статья! Где код вставлен скриншотами

@constantine_rolls Жыл бұрын

Вижу штамп порядочной организации, ставлю лайк❤

@return_1101 2 жыл бұрын

Паук кажется эффективнее.

@istories_workshop 2 жыл бұрын

Зависит от задач. И от того, кому с чем удобнее работать

@Raspi8 2 жыл бұрын

Может не Control, а Command?

@user-my9sg8we9h 2 жыл бұрын

Еще скажи, что клавиатура без клавиши delete пригодна для написания кода )))

@istories_workshop 2 жыл бұрын

Если у вас Мак, то command ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

@ggus0569 Жыл бұрын

@@user-my9sg8we9h еще скажи что ты не знал, что с фн-ом бэкспейс становится делитом...

@user-bu3mm7xe4e Жыл бұрын

Вы из-за лого python не желательная организация, у нас теперь же все сочетания голубого и жёлтого теперь под запретом))) Это подсказка как удалиться из этого реестра.

@istories_workshop Жыл бұрын

Поверьте, такой лайфхак не сработает))

@Funny_channel834 Жыл бұрын

Спасибо

@AnnaIsHere Жыл бұрын

Музыка почти такая же громкая, как речь. Из-за этого сложно слушать

@neivanitsa7913 Жыл бұрын

Аааа! Нельзя же мышкой файлы создавать!!!! Ааааа!! Вас настигнет кара божья!!! Нужно срочно переписать видео с touch Господи помилуй! Господи прости!

@dd-pe5dp 2 жыл бұрын

с 9 минуты тяжело понять

@istories_workshop 2 жыл бұрын

Здравствуйте! Попробуйте задать вопрос более детально в нашем чате: t.me/istories_helloworld ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА