WebScraper - парсим без кода сайт поставщика
Рет қаралды 16,252
2 жыл бұрынРассмотрим, как бесплатно собирать информацию о товарах на примере сайта поставщика.
Поблагодарить и поддержать канал:
pay.cloudtips.ru/p/118e1f87
WebScraper webscraper.io/
forum.webscraper.io/
Телеграм-чат про парсинг:
t.me/proparsing
Для связи пишите:
Почта lukin@usota.ru
WhatsApp +79053311246
Телеграм @lukin_ea
Профиль на профи.ру:
profi.ru/profile/LukinEA8/?ut...
@user-my9gs1kn9f 5 ай бұрын
Красава, мужик! Объяснил подробнее и понятнее, чем в официальных видосах ВебСкрапера!
@user-sc3ly5tv9s 3 ай бұрын
тот момент когда ты изучаешь не только по парсинг, но и узнаешь новое в работе с excel
@MurzikM 2 жыл бұрын
Оооо, круть))) Спасибо огромное!!! Буду изучать.
@bacpushkin798 10 ай бұрын
Это невероятно полезное видео, спасибо большое.
@sofaapakina5089 6 ай бұрын
Отличный ролик! Вы очень мне помогли!
@djlooneez5507 7 ай бұрын
Доброго времени суток. Спасибо большое за видео. Очень помогло в работе.
@sg5651 4 ай бұрын
Вы мой спаситель! Спасибо огромное!
@user-kh1ir5hb2u Жыл бұрын
Отличное видео! Кстати, фиксировать ячейки удобно в строке формул с нажатие кнопки F4 поочередно меняет что фиксировать, столбец, строку или всю ячейку
@denissverdlov4943 Жыл бұрын
Удачи Вам. Благодарю за хороший материал.
@usota Жыл бұрын
Спасибо 🙏
@realchupamon Ай бұрын
Отличное видео, еще бы таймкоды ему.
@user-ob2md5jd8k 9 ай бұрын
Спасибо за видео. Мы хотим видео для новичков
@McMaruhin 2 жыл бұрын
Нашёл ура)) Надо было читать документацию) Pagination(BETA)
@usota 2 жыл бұрын
Отлично 👍
@white_shadow9118 Жыл бұрын
Спасибо за видео!
@Zyaka-Byaka 2 жыл бұрын
Евгений, привет. Отличное видео, но я жестко запутался что и куда. Вероятно что из-за того что я новичок в парсинге. Раза с третьего думаю разберусь, хотя кого я обманываю! :))
@usota 2 жыл бұрын
Спасибо за ответ, значит мне надо ещё проще попытаться рассказать про парсинг. Я подумаю, как это подать более понятнее. Но и у вас всё получится, нужно только привыкнуть к новому.
@Cykonte 4 ай бұрын
Спасибо, очень полезно)
@cactus_white Жыл бұрын
спасибо! всё понятно было (но я продвинутый user)
@Amotikaya Жыл бұрын
Теперь нужно занести товары на сайт свой
@Pashtet22111 Жыл бұрын
Очень хорошее и понятное видео. Только есть момент который было бы неплохо разобрать поподробнее или записать по нему видео на 11:30. Как собрать все ссылки сразу и уже с них считывать характеристики, а не по одной
@usota Жыл бұрын
У меня есть плейлист «WebScraper - парсинг без кода», в нём как раз рассмотрены такие ситуации. Там есть про пагинацию - как собрать список товаров со всех страниц. Соединив пагинацию с парсингом отдельной карточки вы как раз решите свой вопрос. В чате телеграмм добавлю комментарий по этому вопросу. Спасибо, что смотрите )
@_cosmos_ 5 ай бұрын
Классный конечно инструмент для парсинга простых сайтов, но вот у меня не было в пагинации кнопки next и вообще там все варианты селектора пагинации не срабатывали из-за выполнения js скрипта поэтому не получилось использовать его. Пришлось самому парсер писать
@Motogp09full 2 жыл бұрын
Я вот уже почти 3 дня продолжаю парсить игровой веб-сайт Канобу, поскольку у них там датабаза на 50,000 с лишним элементов (это так, приблизительно), поэтому пожалуй соглашусь, что будет намного проще самому написать код, хотя сам webscraper несомненно полезный и эффективный инструмент для парсинга.
@maksat_kairbek 3 ай бұрын
Добрый день! Евгений спасибо за ваши полезные видео. Сможете показать как спарсить с каспий магазина. Я сам пытался парсить, одну под категорию но не получается. Я хотел мониторить цены, и регулировать на своем сайте. Или подскажите пожалуйста есть какое то решение. Заранее спасибо.
@Bogbabi 10 ай бұрын
Евгений,спасибо за обзор! Подскажите, если в каталоге нет кнопки «показать еще» и нет кнопки «далее» для просмотра товаров, но работает скролл на сайте для загрузки товаров. Как можно организовать Парсинг со скроллом?
@usota 10 ай бұрын
Спасибо за оценку 🤝 В WS есть такой селектор Element Scroll, который используется как раз для таких случаев
@user-kn2jt2du8l Жыл бұрын
Евгений, спасибо вам за видео. При изучении документации по Web Scrapper моменты, которые вы освещаете, я не нашел. В особенности то, что можно сохранять одновременно оба селектора
@usota Жыл бұрын
Спасибо ☺️ Какой момент про два селектора, уточните?
@NigarQurbanova-xy6gv 6 ай бұрын
@@usotaЗдравствуйте. Снимите, пожалуйста как парсить изображения товаров? На каждом товаре по несколько изображений?
@NigarQurbanova-xy6gv 6 ай бұрын
@@usotaда, нужен Эксель чтобы с импортом товара научиться нормально работать. Заснимите, пожалуйста курс с Экселем
@drpogo9 2 жыл бұрын
Отличное видео. Есть затыки. Например, на этапе сбора характеристик, у меня опытным путем синтаксис получился другой но сработал, самая загвоздка оказалась в exel. Если есть возможность снимите пожалуйста подробное видео по компоновке, формулам в excel нужным для парсинга. Может быть уже есть такое. Еще раз благодарю, действительно без программирования оказывается можно парсить, но как оказалось html нужно хотя бы понимать. Видео в архив обязательно.
@usota 2 жыл бұрын
Спасибо 🙏 В видео «Импорт атрибутов WooCommerce - скринкаст» kzfaq.info/get/bejne/eJd5qbph0Zubkmw.html скрупулёзно разбираю работу с данными в экселе. Многие элементы использую и при работе с сырыми данными после парсинга. Возможно там будут какие-то ответы на ваш вопрос. Смотреть на скорости х1,5 😊
@start945 Жыл бұрын
Спасибо, очень интересно и доходчиво!!! Подскажите: есть excel файл с определенными установками, написанные макросом, можно ли каким либо способом импортировать данные из Webscraber сразу в указанную excel файл?
@usota Жыл бұрын
Спасибо ☺️ К сожалению, в бесплатной версии WS нет экспорта сразу в какую-то другую систему. Только скачать файл в эксель и уже вручную «поженить» его с вашим файлом.
@start945 Жыл бұрын
@@usota спасибо,понял, очень оперативно ответили)
@Shutar_S 11 ай бұрын
Спасибо!
@maximshaufler8744 Жыл бұрын
Евгений. Очень интересно. Подскажите пожалуйста. Хочу сделать парсер на авито. И встал на этапе парсинга платных услуг. Дело в том, чтобы узнать какая услуга была применена нужно нажать на стрелочку, всплывёт подсказка, и после если посмотреть код страницы, наведя курсор мышки на х2,х5,х10 и.т.д. то можно увидеть какую именно услугу применили. (там картинка с именем например 5_7). Вопрос в том реально как-то спарсить эту картинку, или даже вернее название её? Спасибо большое
@usota Жыл бұрын
В WebScraper есть селектор ElementClick, который отвечает за клик мышью. Я думаю, с помощью этого селектора можно вытащить эти данные.
@online112 Жыл бұрын
А людям, которые не могут читать код и писать вручную команду никак не справиться?: Не могу спарсить таблицу из википедии. Выделяю Шифтом ячейку, апри нажатии на следующую захватывает и соседний столбец, а он мне не нужен в этой итерации. Как это исправить? Нет ли какого то сочетания клавиш, при котором отменяет выделение при указании ячейки для сбора информации:?
@white_shadow9118 Жыл бұрын
Еще раз спасибо за видео! Подскажите пожалйста, как можно добавить сразу большое количество Start Url, не пользуясь каждый раз плюсиком
@usota Жыл бұрын
Для этих целей я использовал свою страницу ссылок kzfaq.info/get/bejne/aJyberyB3J-YZWg.html
@white_shadow9118 Жыл бұрын
@@usota Спасибо!
@user-ej6ur5ff2h 5 ай бұрын
Привет Евгений, не пойму, что то в формула не работает ВПР СЦЕПИТЬ(A2;$D$1);'Лист1'!C:D;2;0, не вижу п видео что должно быть между ВПР СЦЕПИТЬ
@usota 5 ай бұрын
Привет, ВПР(СЦЕПИТЬ…. )
@Workshop100 8 ай бұрын
Не могу спарсить фотографии. Не выбираются миниатюры, увеличено изображение выбирается в директорией .active img не знаю что в ней менять и как выбрать все фотографии. подскажите пожалуйта.
@user-rh7ps9sl7r Ай бұрын
У вас талант просто рассказывать о сложном! СпасибО! И такой вопрос а почему у меня нет в меню Selector Graph? и еще вопрос а если в карточки товара есть еще кнопка выбора подвида товара? что тогда делать?
@zholdasbekqydyraliev9712 3 күн бұрын
А можно ответ? У меня тот же вопрос
@peresvetanalitycs9681 2 жыл бұрын
Доброго времени суток. Возник вопрос по данному инструменту. Парсить теги Title и h1 получается, а вот description уже нет. Возможно ли это? и как выглядит синтаксис?
@usota 2 жыл бұрын
1. Выбери тип селектора - Element attribute 2. Условие селектора - meta[name="description"] 3. Наименование атрибута (Attribute name) укажи - content.
@peresvetanalitycs9681 2 жыл бұрын
@@usota Премного благодарен Вам. Я преданно смотрю канал, далее буду учиться парсингу с помощью питона)))
@user-vx6jc4wb6y Ай бұрын
Спарсила позиции с сайта, их 300, а парсер собрал больше, почему так? И при пагинации, парсер собирает позиции со след.страниц не по порядку, как они идут на сайте
@usota 29 күн бұрын
Если парсер собрал больше, то возможно парсер проходит одну страницу больше одного раза, я бы проверил настройки пагинации. А по поводу «не по порядку»: это особенность выгрузки в WS - он просто выдает нам не отсортированный результат из базы данных. Если вы отсортируете в экселе по первому столбцу , то всё будет в нужном порядке. Пишите в наш телеграм чат @proparsing - ребята помогут с вопросами, если что 🤝
@lismaev 7 ай бұрын
Спасибо! Крутое видео. Можете показать как с помощью этого инструмента парсить Домклик?
@usota 7 ай бұрын
Спасибо, а какие вопросы возникают с домклик?
@lismaev 7 ай бұрын
@@usota задача: с небольшого (любого) города нужно выкачать все квартиры указаны (фильтр любой, главное чтоб было от 5 страниц и более). В Excel должно быть два столбика адрес с количеством комнат и второй столбец цена. Сам сайт домклик очень интересно работает ( по крайне мере у меня): страницы либо подгружаются автоматически либо нужно нажимать на номер стр, если нам нужно зайти в объявление то всегда открывается новая вкладка. Как итог у меня не выкачиваются все квартиры и не получается выгрузить цену. Если у вас будет время и вам интересно разобрать данный пример, буду очень признателен, спасибо.
@valeriilebedenko Жыл бұрын
Спасибо, Евгений. Без воды и с позитивом. Приятно смотреть. Хочу понять в чем моя ошибка: собираю имя товара и стимость, делаю так как показываете, однако финальный результат имеет такой вид: сначала идет список названий, а потом цена, название название название цена цена цена а нужно, чтобы было: название-цена название-цена название-цена Подскажите, в чем моя ошибка?
@usota Жыл бұрын
Попробуйте сначала создать селектор Element, а уже внутри него собирать поля.
@valeriilebedenko Жыл бұрын
@@usota Попробовал, вообще нет информации в строках. Что-то я не так делаю. Может у Вас есть по похожим вопросам видео на канале? Сам не нашёл пока.
@flydive8294 Жыл бұрын
Так просто сказано насчет списка ссылок, создайте сайт и внесите туда этот список. И что, как это делать?
@usota Жыл бұрын
Обязательно скоро расскажу, всё в одно видео не уместить. Ролики и так длинные )
@usota Жыл бұрын
Specially for you - kzfaq.info/get/bejne/aJyberyB3J-YZWg.html
@flydive8294 Жыл бұрын
@@usota Вот за это огромное спасибо)
@Zyaka-Byaka 2 жыл бұрын
Евгений, а может парсер пройтись по чекбоксам фильтра и собрать ссылки? Есть категория товара- масляный фильтр, в фильтре выбор по брендам. У каждого бренда свои поля с описанием и характеристиками. Хочу собрать ссылки каждого бренда, чтобы потом под каждый бренд спарсить нужные поля, чтобы в файле и при импорте на сайт товара потом не было путаницы . Всего 41 бренд, не много, можно и вручную сделать, но хочется научиться парсить все сразу для экономии своего времени. Если может подскажите как настроить, у меня самостоятельно не вышло.
@usota 2 жыл бұрын
Как правило, фильтр по бренду добавляет в url ссылки параметр с именем бренда, например site.ru/smartphones/?brand=iphone. Если это так, то достаточно спарсить фильтр, как ссылки. А потом уже по ним собирать товары. Но если фильтр по брендам делается через ajax, то простым парсером их не соберёшь.
@Zyaka-Byaka 2 жыл бұрын
@@usota Спасибо, я "везучий", мне достался фильтр через ajax. :))))) Еще вопрос: Совсем не понял про интервал запросов. 2000мс для небольшого объема данных это нормально, правильно? Какие значения ставить, если объем большой? У меня вчера парсер с таким интервалом запросов 950 позиций с фото и описанием парсил около 2х часов, это нормально?
@usota 2 жыл бұрын
Про интервал запросов: по умолчанию интервал 2 сек., или 2000мс. Это медленно, но не создаёт нагрузку на сайт, который парсим. Если нагрузка будет большая, на сайте может сработать защита и наш IP заблокируют. Это не зависит от объема данных. Но если их очень много, можно попробовать уменьшить интервал запроса до 1 секунды. Теоретически скорость Парсинга увеличится в 1,5-2 раза. Но я рекомендую не спешить. Если ваш IP заблокировали, а вы его не можете быстро поменять, то будете вынуждены ждать, пока блокировка снимется.
@SV-13 5 ай бұрын
@@usota А интересно, существуют ли парсеры с каким-либо ip-миксером, чтобы слать запросы с разных адресов и сервер не ощущал DOS-атаки?
@usota 5 ай бұрын
@SV-13 да, для этого используются прокси, но писать такие парсеры лучше уже на Python
@user-bj6tg4vh3d Жыл бұрын
Как убрать букву Р не понятно. И вообще где писать код JS для обработки данных? Платную версию бы посмотреть. На торе запустить. Много еще чего надо разобрать.
@natalieblinnikova3971 Жыл бұрын
спасибище! Только зачем каждую ссылку добавлять плюсиком? Почему нельзя выбрать селектор внутри селектора на ссылку по товару?
@usota Жыл бұрын
Пожалуйста 🙏 Ссылки добавляем плюсиком, если делаем новую карту. А так вы правы, можно и внутри селектора.
@user-wm3yn1lq9k Жыл бұрын
Евгений, я просмотрел много ваших видео, но так и не смог найти самое главное( В этом видео вы все очень доступно объяснили, за что я вам очень благодарен. Но упущен один момент: с 11:47 минуты по 12:00 минуту что же это за файлик такой, куда его выгрузить, и как указать в парсер путь к нему? Понятно что для 10-15 товаров проблем нет, можно и в ручном режиме повставлять ссылки. Буду благодарен вам за ответ😁
@usota Жыл бұрын
Если коротко, то я создаю html страницу со списком нужных ссылок и запускаю парсер уже на эту страницу. Напишите мне в телеграм, постараюсь объяснить подробнее.
@elvisivle Жыл бұрын
Я в первый раз, но на удивление удалось совместить сбор ссылок и одновременно сбор нужной информации, пришлось так сделать, 1500 ссылок не смог загрузить в текстовый блок)
@usota Жыл бұрын
Добавил на канал видео, как сделать собственную страницу со списком ссылок kzfaq.info/get/bejne/aJyberyB3J-YZWg.html
@promartech 10 ай бұрын
Классное видео! Посоветуй сервисы для парсинга интернет магазинов. Бесплатные, платные.
@usota 10 ай бұрын
К сожалению, готовых сервисов не знаю. Только пишу вручную.
@McMaruhin 2 жыл бұрын
Скажите пожалуйсто а что делать если внизу вместо следующей страницы кнопка показать ещё?
@usota 2 жыл бұрын
Можно использовать селектор Element Click, который будет кликать на эту кнопку.
@McMaruhin 2 жыл бұрын
@@usota Спасибо вам огромное)
@SV-13 5 ай бұрын
@@usota Нажатие на кнопку "Показать ещё" не открывает новую страницу, а продлевает существующую. Получается, что данные будут задваиваться при следующем проходе?..
@usota 5 ай бұрын
@SV-13 парсер собрирает подгруженные данные, а не проходит заново всю страницу - это было бы не рационально
@user-go1oe6ix9m 3 ай бұрын
Видео шорошее. Только в моем случае нет таблиц характеристик.
@LOGOSTT 2 жыл бұрын
Евгений здравствуйте. Неудобно смотреть за Вашими действиями на экране мобильного телефона, - мелковато. _Хотелось бы, чтобы демонстрируемая рабочая область занимала основную площадь экрана, - крупным планом показывать себя не обязательно._
@usota 2 жыл бұрын
Здравствуйте. Ваше пожелание принято. Подумаю о специальном выпуске для вас, без показа себя. По поводу мелковатости на мобильных - к сожалению, не знаю, как адаптировать видео для телефонов. Ведь тогда будет неудобно смотреть с ПК? Возможно, у вас есть предложение или пример?
@LOGOSTT 2 жыл бұрын
@@usota жаль, что мой намек не был замечен. Нет необходимости адаптировать видео под телефоны, просто уменьшите долю изображения "себя любимого" или совсем уберите. _Какая-то в этом есть необходимость?_
@usota 2 жыл бұрын
Я вас прекрасно понял с первого раза ) Поверьте, причины есть. Но обсуждать их не вижу смысла, потому что это не несёт никакой пользы для будущих роликов. Может у вас есть вопросы по содержанию?
@user-mz6bg7cf6g 2 жыл бұрын
Как по мне, мне скрипт на питоне проще написать)), а вы как характеристики парсите через питон?
@usota 2 жыл бұрын
Согласен, мне тоже проще на питоне) А по поводу характеристик у меня есть видео kzfaq.info/get/bejne/nreCpZBjnN2dd2w.html
@usota 2 жыл бұрын
Если количество характеристик неизвестно, как например у товаров на WB, то использую другой способ, про который постараюсь в ближайшее время тоже рассказать.
@user-mz6bg7cf6g 2 жыл бұрын
@@usota Ну там у вас характеристики одинаковые везде, хотел бы посмотреть как вы решаете задачи с множеством характеристик, где у каждого товара они разные.
@usota 2 жыл бұрын
Записал видео, как решаю задачу с множеством характеристик kzfaq.info/get/bejne/pKd2fbBpqZm-ZWw.html
@McMaruhin 2 жыл бұрын
Извините пожалйста но не получаеться с инструментом элемент клик(
@usota 2 жыл бұрын
Напишите в телеграм-чат (есть в описании) ссылку на сайт, я думаю найдём решение
@McMaruhin 2 жыл бұрын
@@usota Спасибо сейчас напишу)
@Zyaka-Byaka 2 жыл бұрын
Евгений, привет. А как вытащить фото товара из слайдера? Все перепробовал, ничего не получается. Полное изображение сидит тут:
@usota 2 жыл бұрын
Можно вытащить через селектор Element attribute и в качестве имени атрибута использовать style. А потом уже в экселе автозаменой почистить свойство бэкграунд-имадж.
@usota 2 жыл бұрын
Вобщем надо написать нормальный обзор на работу WebScraper )
@Zyaka-Byaka 2 жыл бұрын
@@usota Все обзоры у Вас нормальные, просто ситуации использования парсера разные у всех, а как известно на всех не угодить. Так и не вышло вытащить полное изображение, только из быстрого обзора товара миниатюру смог достать.
@Zyaka-Byaka 2 жыл бұрын
@@usota Сильно заняты? Не сможете объяснить где-нибудь в вайбере или ватсапе как победить мне этот парсер? Заодно и про обучение бы поговорили. Станем ближе к своим подписчикам, так сказать! 😉😀
@usota 2 жыл бұрын
Лучше WhatsApp
@McMaruhin 2 жыл бұрын
не работает нихрена с теми сайтами которые нужны да и так то работает то нет
@usota 2 жыл бұрын
Это как с девушками 🙂 К каждому сайту свой подход.
@McMaruhin 2 жыл бұрын
То есть я хотел сказать парситься
@SV-13 5 ай бұрын
36:30 Зачем человеку, не умеющему работать в экселе, вообще заниматься этим??
@usota 5 ай бұрын
Согласен 🤝
@goonik Жыл бұрын
я понимаю что ты сказочно красив, но обязательно свою рожу в треть экрана делать да ещё и так близко? 😨
@usota Жыл бұрын
Если я тебя раздражаю, зачем пользуешься результатом моей работы?
@goonik Жыл бұрын
@@usota 1. до тебя мне дела нет, просто видео смотреть неудобно 2. угадай с одного раза почему я пользуюсь "результатом твоей работы"
@usota Жыл бұрын
Зачем ты делаешь себе неудобно и винишь в этом меня?
@nickkorolev8869 Жыл бұрын
@@usota зачем отвечать таким свиньям неблагодарным как этот ГУНИК? Оно же животное бестолковое, не тратьте свое время на умственно отсталых, так еще и эта падаль умудряется оскорблять, пользуясь бесплатным видео в котором отличный туториол и понятный! Спасибо за ваш труд!
@Palma_palma 5 ай бұрын
Мир вам и вашему дому ) Такой труд проделали , грамотно все рассказали про парсер.Без запинок и скучноты ( хотя тема не развлекательная ).Не обращайте внимания.Вопрос в том , что данный комментатор - в состоянии ли такой контент отснять на вашем уровне. Салам из Кыргызстана )
@dead_mazay Жыл бұрын
Добрый день, Евгений. Подскажите пожалуйста как собирать данные если они у нас в попап окне выводятся?
@usota Жыл бұрын
Добрый, можно попробовать через селектор Popup Link или напишите пример сайта с попап окном, посмотрим 🙂
@dead_mazay Жыл бұрын
@@usota вчера кое как, додумался сделал Popup link (он нажимает по кнопкам), рядом сделал два селектора текстовых, которые парсят Ф. И. О. и телефон, но теперь не могу понять как заставить его бегать по страницам пагинации. Ваше видео посмотрел, вроде как сделал так же, но что то лыжи не едут))) P. S. Яндекс Услуги парсю.
@usota Жыл бұрын
Посмотрите, может в этом видео будет решение Парсинг без программирования III. WebScraper kzfaq.info/get/bejne/bdBlhaRmx7WzZYU.html
@dead_mazay Жыл бұрын
@@usota Всё, работает. Только столкнулся с ещё одной проблемой, когда вылезает кнопка "в начало" она имеет такой же селектор... и на 3 странице у меня парсер перестает парсить.
@usota Жыл бұрын
Попробуйте выбрать селектор не по классу, а не по другому способу, например через xpath
Catalog Loader
Рет қаралды 9 М.
Сделано! О сложном - просто
Рет қаралды 8 М.
loftblog
Рет қаралды 47 М.
PromoPult
Рет қаралды 11 М.