Парсинг сайта в эксель

Рет қаралды 44,566

3 жыл бұрын

Третий способ парсинга сайтов в эксель.
Ранее мы рассматривали два различных способа парсинга:
Первый способ парсинга - выгрузить и разобрать простынь текста в HTML при помощи VBA. Мы выкачиваем километраж между городами в таблицу Excel. Ссылка на этот парсер здесь: • Парсинг сайтов в Excel...
Второй способ - это загрузка таблиц из интернета при помощи надстройки PowerQuery. С помощью этой надстройки мы выкачивали в таблицу данные по продажам новых автомобилей в России по годам. Вот ссылка на это видео: • Данные с сайта в эксел...
И третий способ, показанный в этом видео - это использование древнего способа загрузки данных при помощи Excel, который с нами еще года эдак с 2003, а может и раньше.
В этот раз выкачиваем контактные данные управляющих компаний Москвы.
Хочется еще?
Вот мой телеграмм канал: t.me/TrueExcel
Контакт для связи: t.me/Pavel_Taranukha
realxls
dzen.ru/real_excel
vc.ru/u/2288927-realnyy-eksel
Да и просто подписывайтесь - люблю, когда растут цифры ;-)

Пікірлер: 98

@maxony79 3 жыл бұрын

реальный человек , реальный эксель , добыл парсинг. На самом деле , спасибо , все очень здорово , приятная подача информации.

@Pavel_Taranukha 3 жыл бұрын

Спасибо!

@NNN-vd7lh 2 жыл бұрын

Лайк чисто за фразу "как правильно? хрен его знает, посмотрим как можно" )))

@natos5710 8 ай бұрын

Огромное спасибо за это видео. До вашего урока никогда парсингом не занималась. Была первая попытка. Благодаря вам сделала. Правда не с первого раза, но справилась)

@FedoskinYuriy 4 ай бұрын

Ну, реально восторг! Все парсят на питонах-шматонах, на крайняк через ПХП и прочие высокоуровневные ЯПы с ООП, а тут обычный Ёксель с Вижуалбэйсиком! Благодарю от души! 100500 лайков и мотивация почитать про VB побольше, ибо знания простого функционального программирования в Паскале, Фортране и Фоксбейсе позволят спокойно повторить ваш парсер. 😃🤘👍💪🙏

@Pavel_Taranukha 4 ай бұрын

Это только для мелких задачек и когда другого ничего под рукой нет. Для серьезного промышленного парсинга это не подойдет конечно))

@FedoskinYuriy 4 ай бұрын

@@Pavel_Taranukha Понятное дело. Но, во-первых, Ёксель жив и Бейсик тоже! :)) И во-вторых, понятен алгоритм, который можно сработать как вручную, так и на кодить. А это - самое главное! ;)

@user-gm1ws2cv4q 3 жыл бұрын

Подписался. Всё доступно и по делу.

@user-ko4le8pl5d 2 жыл бұрын

Спасибо , очень круто 👍

@Tommy7417 2 жыл бұрын

Спасибо, Вам! всегда в видео понятно и доступно показано, и можна применть в жизни, а не только в теориии.

@Pavel_Taranukha 2 жыл бұрын

Спасибо

@user-ck9bm2kz4p 2 жыл бұрын

Павел - вы просто бог Екселя: Индекс; Поискоз, фильтра и немного VBA = парсер любого проекта! Вы сделали мой месяц!

@Pavel_Taranukha 2 жыл бұрын

Ахах))) Ну не любого. Когда данных много - лучше питончика изучить)

@siberian_medwed 2 жыл бұрын

Очень прикольно. Но все таки это как молотком забивать саморезы, предварительно вытаскивая их из ленты, и смазывая оливковым маслом...

@lipartem 3 жыл бұрын

Спасибо! Молодец.

@user-mf5pw1xw7r 3 жыл бұрын

Супер 👍🏻

@online-ocenka 3 жыл бұрын

спасибо все по делу

@user-eb3ec8rg6w 2 жыл бұрын

Обалдеть!

@shalkarzhumakhanov3638 Жыл бұрын

Super 🙏🏽

@VladimirKuznetsov 2 жыл бұрын

Даже не подозревал, что Excel так умеет. Спасибо за ролик. Однако парсить питончиком получается быстрее.

@Pavel_Taranukha 2 жыл бұрын

Согласен. Экселька для простеньких выгрузок.

@McMaruhin 2 жыл бұрын

777 лайков))) так не охото портить цифру)

@antonpupkin483 3 жыл бұрын

все отлично рассказал,показал.хотелось бы развернуто и по нескольким примерам,но тогда своя голова вообще перестает думать.

@antonpupkin483 3 жыл бұрын

И вопрос есть: как исправили ошибку на 15:57, у меня не получилось,отправил другому человеку-то же самое,не работает и исправить не получилось.В интернетах пишут-это начинается после использования CTRL+Pause Break в больших файлах и повторное прожатие поможет,не помогло

@Pavel_Taranukha 3 жыл бұрын

Так там просто заменена прямая ссылка на лист обращением к selection.

@MAX-pw3vn 3 жыл бұрын

В начале ролика после слов "хрен его знает как, но давай опробуем", я подписался!!!!

@Pavel_Taranukha 3 жыл бұрын

Вы тоже считаете, что это показывает экспертность? А маркетологи со мной спорят))

@MAX-pw3vn 3 жыл бұрын

@@Pavel_Taranukha нет, как раз это и есть высший пилотаж. Эксель знать на все 100% физически не возможно, кто так говорит - значил брехун. Профессионал всегда скажет понятия не имею как, но сделаем... у меня 1С -ник такой, какие задачи ему не ставь, понятия не имеет как делать, но через сутки готово )))))

@georgyvartanov4603 3 жыл бұрын

@@MAX-pw3vn где он - 1С ? я ему поставлю задачу.

@SV-13 3 жыл бұрын

Чем отличается опытный погромист от обычного? На вопрос, можно ли решить эту задачу, обычный отвечает, что ему надо подумать. А опытный говорит, что конечно, возможно, просто он пока не знает, как именно )))

@MAX-pw3vn 3 жыл бұрын

@@SV-13 полностью согласен

@archinewtontv1104 2 жыл бұрын

круто)

@justlook9057 2 жыл бұрын

Крутые видео

@Pavel_Taranukha 2 жыл бұрын

Спасибо. Делюсь наработками чтобы и самому не забыть))

@ogohtv 3 жыл бұрын

Это коментарый от сердца

@sbersvet 3 жыл бұрын

Подпись и лайк! Очень нужно парсить свойства товара из карточек для создания таблицы загрузки на сайт через битрикс. Сайты производителей, выгрузки с сайта не дают, лень им заниматься этим... 🤦‍♂️

@Pavel_Taranukha 3 жыл бұрын

Какие странные производители. Многие сейчас напротив 99% работы за продавца делают. Вон хоть поставщиков озона и вайлдберриз взять...

@andreislashikov9618 2 жыл бұрын

На кворке за 500р купи парсер

@user-wk4pw6uv4w 3 жыл бұрын

Добрый день! Как было Вами сказано: "Видосы не зря...". Спасибо, все доступно, "живые" кейсы. Сошлюсь на Вашу реплику про интерес к комментариям - вопросам. Я не "думаю" на уровне формул Excel, макросов VBA, запросов Power Query, но очень хочу работать с данными как и Вы, хотя-бы на 17%. Так вот, поставил перед собой задачу, примерно знаю куда копать, но нет практики... В общем сейчас задача такая, есть сайт, разработчики внедрили EDI, опубликовали API. Казалось бы, собирай данные, кто мешает... Но, как говорил, опыта маловато. Не могли бы Вы "запилить" видос о том, как забирать данные с сайта, работая в Excel используя API?

@Pavel_Taranukha 3 жыл бұрын

Ну что делать... про вайлдбериз апи расскажу, раз вы своих апишек не даете)

@CryptoDGO 3 жыл бұрын

Классная подача! А можна на примере Инстаграмма сделать? Чтобы по логинам аккаунтов узнавать информацию о профиле (Количество подписок, подписчиков и публикаций)?

@Pavel_Taranukha 3 жыл бұрын

Так вроде телеграмм боты это все умеют

@CryptoDGO 3 жыл бұрын

@@Pavel_Taranukha не нашел такого) если есть такой дайте знать как его найти)

@user-jw1if1lg4u 3 жыл бұрын

😷👍

@dmitriy2502 2 жыл бұрын

Здравствуйте! При парсинге страницы в навигаторе power query выходит список таблиц? далее нужно выбрать нужную таблицу и нажать Преобразовать данные. Вопрос, можно ли сделать так: На странице excel в первой ячейке указать ссылку на нужную страницу в интернете чтобы запрос брал данные из нее (ЭТО РЕАЛИЗОВАНО), далее ниже во второй ячейке указать имя таблицы, например Москва, нужно чтобы навигатор фильтровал список таблиц по этой ячейке, а дальше все как обычно забирал отфильтрованную таблицу в преобразование данных, возможно ли такое?

@SmithJoneJr 2 жыл бұрын

Было бы весьма желательно, чтобы кто-нибудь из "гуру" описал алгоритм распределения строк внутри ячейки по столбцам. В стандартной функции Excel нет возможности ввести в поле "своего разделителя" возврат каретки

@Pavel_Taranukha 2 жыл бұрын

Ну раз так уж желательно - держите... kzfaq.info/get/bejne/paxloMKppsfGh2g.html

@Pavel_Taranukha 9 ай бұрын

альт + ентер

@MegaAlex1331 2 жыл бұрын

Здравствуйте! Подскажите как спарсировать комменты с ответами под роликом ютуба. Спасибо

@user-zm6lf6lx9l 9 ай бұрын

😮

@crimesceneinvestigator2370 3 жыл бұрын

МУЖИК, ты реальный мужик! А есть ли способ экселем (другого не осилю) получать данные с динамическим контентом??, где дивы примерно такого плана: и при просмотре чистого кода страницы он не отображается. т.е. они могут генерироваться во время просмотра страницы.

@Pavel_Taranukha 3 жыл бұрын

Нужно пробовать. Здесь на канале лежит уже три способа парсинга. Может какой и подойдет.

@dmitrythinker396 3 жыл бұрын

Как из парсинга сделать отправку сообщений в телеграмбота

@Tommy7417 Жыл бұрын

А если на сайте нужна авторизация? Можно реализовать?

@vadimzolotukhin1773 2 жыл бұрын

Easy)

@jacksparow5289 3 жыл бұрын

Здравствуйте! Спасибо за уроки. Подскажите пожалуйста возможно ли импортировать данные с локальных сайтов. Пример : Есть небольшая внутренняя сеть и несколько сетевых принтеров с локальными веб сайтами (пример https:\\10.10.10.125) . Где есть информация о состоянии расходных материалов % расхода тонера. Можно ли вытащить данные в общую exel страницу где будет общая информация о тонере каждого принтера . Через Power Query не видит таблицы.

@Pavel_Taranukha 3 жыл бұрын

Здравствуйте. Не открывается ваш айпишник(

@jacksparow5289 3 жыл бұрын

@@Pavel_Taranukha ип внутри сети, через интернет не доступен :( написал я его как пример (что не совсем обычная веб страница)

@Pavel_Taranukha 3 жыл бұрын

Ищите итшников, которые публикуют эту страницу и забирайте данные либо с вебсервиса, либо из СУБД учетной системы, которая является поставщиком данных для внутреннего вебсервиса. Парсинг он больше от безысходности, когда вы не можете получить данные другим способом. В вашем случае - есть повод найти контакт с интересными итэшниками, которые смогут быть полезны и в других начинаниях )

@Pavel_Taranukha 3 жыл бұрын

Тьфу ты... какие еще вебсервисы, что я несу. Принтеры же у вас!) Попробуйте подход к парсингу где про поиск расстояний между городами. Должно вам подойти. Суть в том чтобы считать хтмл в память и из текста вытащить нужную инфу. На канале посмотрите.

@user-mf8br1vq3j 2 жыл бұрын

Пожалуйста сделайте видео как работать с спортивной статистикой (Футбол) в Excel.

@Pavel_Taranukha 2 жыл бұрын

Совершенно не разбираюсь в командных видах спорта.

@odmitv 2 жыл бұрын

Попробуйте чрз Power query, это быстрее и проще. ИМхо

@user-wp7yq7kb2n 3 жыл бұрын

Я только начинаю изучать эту тему и ваш пример помог создать парсер. Но пока делала, на сайте обновилась информация и при запуске парсера выскакивает сообщение, что не может найти объект в колонке номер. Как в этом случае поступать, перед запуском обновить саму базу номеров или как-то в макросе это можно прописать? В макросах не сильна.

@Pavel_Taranukha 3 жыл бұрын

Из всех вариантов всегда выбирайте тот, который работает) У меня обычно работает вариант сделать блок, который перестал работать заново. Это помогает или вспомнить старое или найти новые подходы. В любом случае - кроме пользы никакого вреда.

@user-wp7yq7kb2n 3 жыл бұрын

@@Pavel_Taranukha Я нашла решение, просто в макросе изменяю номер строки с какой надо начать парсинг, работает)))

@AleksandraChebotova 2 жыл бұрын

Добрый день! подскажите, а как найти данные-из интернета. нет такой иконки в Данные

@odmitv 2 жыл бұрын

У вас возможно старая версия excel

@user-wc3mw6bu4n 2 жыл бұрын

...попробуйте загрузить Тарифы ЖКХ в Москве на текущий год.

@user-zt4xi5kj7j 3 жыл бұрын

Здравствуйте, как с вами можно связаться ?

@Pavel_Taranukha 3 жыл бұрын

Здравствуйте! 89160637718

@user-dg2yk2ol4l 3 жыл бұрын

))) " я особо не силен в этом"..... нуну)))

@Rusia-16 Жыл бұрын

Все это не прокатит с сайтом wildberries. Он не выводит все теги и ссылок в коде страницы тоже нет.

@ogohtv 3 жыл бұрын

Пожалуйста сделайте видео о том КАК ПАРСИТЬ НОМЕРА ТЕЛЕФОНОВ ПО ОПРЕДЕЛЕНЫЕ КАТЕГОРИИ В АВИТО

@silicon_man8998 2 жыл бұрын

Parsing через python

@Pavel_Taranukha 2 жыл бұрын

Да. Если не помогает эксель, может помочь нечто другое)

@ogohtv 2 жыл бұрын

@@Pavel_Taranukha я реально пользуюсь вашими идеями на работе спасибо вам за всё

@Pavel_Taranukha 2 жыл бұрын

Пожалуйста. Но в случае парсинга больших данных лучше действительно посмотреть на питон. Такие библиотеки, как requests например. Тот-же повер квери иной раз такие неожиданные сюрпризы подкидывает, что аж кишки шевелятся)

@povalyaev 2 жыл бұрын

Добрый день! Как можно обойти Cloudflare Email Protection ? Вместо email выгружает [email protected] :( UPD. Сохранил и закрыл файл, открыл заново, запустил скрипт и почты подтянулись, обошлась блокировка! Спасибо вам огромное, сэкономили мне кучу времени!

@maxony79 3 жыл бұрын

Напрямую с авито в эксель кто нибудь пробовал парсить?

@ledakol3027 2 жыл бұрын

Парсер стоит 1000-2000 рублей ) включите в расходы ) Эксель нехрена не быстро

@smyrnovroman5893 3 жыл бұрын

Нифига се

@Pavel_Taranukha 3 жыл бұрын

Сам в шоке. Случайно получилось)

@Bozon_Higgsa 2 жыл бұрын

...

@figaro2440 2 жыл бұрын

эксель для этого не предназначен, куча же редакторов для кодинга, работать с json в экселе это глупость.

@Pavel_Taranukha 2 жыл бұрын

Интересно для кучи чего предназначена глупость...

@figaro2440 2 жыл бұрын

@@Pavel_Taranukha Вы решаете проблему, но решаете ее с использованием костылей и инструментов которые для этого не предназначены. Микроскопом действительно можно забивать гвозди, но вроде как в свободном доступе бесплатно куча молотков на любой вкус, но это видимо не ваш путь...

@Pavel_Taranukha 2 жыл бұрын

Опять эти гвозди, микроскопы, молотки. Иногда просто некогда искать молоток и разбираться с какой стороны у него ручка) Эксперты по специальным молоткам обычно живут в своем молоточном мире и их молотки могут забивать гвозди только в специально построенном для их молотка цеху)

@figaro2440 2 жыл бұрын

@@Pavel_Taranukha Лучше день потерять, потом за 5 минут долететь)

@Pavel_Taranukha 2 жыл бұрын

Да иной раз овчинка настолько выделки не стоит, что и 30 минут жалко) Понятно, что если парсить какой-то вайлдберриз или авито - эксель не подойдет. Но когда нужно табличку с сайта впитать с ценами - так и зачем все эти питоны с их прекрасными библиотеками курить) Всегда же упираемся в целесообразность и соотношение приобретенного результата к затраченным усилиям. А это не всегда глупость.