Выгребаем информацию с сайта с помощью Go. Web Scrapping.

  Рет қаралды 10,088

Neuro Lab! Algorithms

Neuro Lab! Algorithms

6 жыл бұрын

Пример как из разметки сайта извлечь необходимую информацию и сохранить ее в excel. Код написан на Go (golang)
Больше материалов - у нас на сайте
nl-a.ru/articles

Пікірлер: 13
@Otnielush
@Otnielush 4 жыл бұрын
Хорошо объясняешь, спасибо. Я через полтора года после записи видео писал код и сайт уже по другому выглядит. Но т.к. ты хорошо объяснил я смог изменить код под сайт. Продолжай пожалуйста!
@taras513
@taras513 4 жыл бұрын
Красава! Спасибо за видео!
@OARomanov
@OARomanov 3 жыл бұрын
Спасибо за видео! Было бы интересно посмотреть на пример скрапинга с авторизацией (например соцсеть какую-нибудь)
@maximpng6466
@maximpng6466 Жыл бұрын
😘
@miraclechina1301
@miraclechina1301 6 жыл бұрын
Супер
@romant4596
@romant4596 5 жыл бұрын
Скажите как исправить данную проблему - у меня после загрузки слов с сайта все руские буквы отображаются в виде ??????????? и в эксель так же пишутся как установить правильную кодировку для русских букв? спасибо
@ArtemFun
@ArtemFun 5 жыл бұрын
тажа фигня, возможно из-за кодировки сайта windows-1251 , надо перевести кодировку в utf, сейчас попробую
@user-sk7lc9xi6r
@user-sk7lc9xi6r 5 жыл бұрын
Есть у кого готовый код? Т.к ошибки, желательно проверить.
@user-ty6fq9os9k
@user-ty6fq9os9k Жыл бұрын
Спасибо за урок. Вот как быть, если страница написана Джаваскрип? Исходный код типа такой: mydrop.com.ua(function(w,d,s,l,i){w[l]=w[l]||[];w[l].push({'gtm.start': new Date().getTime(),event:'gtm.js'});var f=d.getElementsByTagName(s)[0], j=d.createElement(s),dl=l!='dataLayer'?'&l='+l:'';j.async=true;j.src= 'www.googletagmanager.com/gtm.js?id='+i+dl;f.parentNode.insertBefore(j,f); })(window,document,'script','dataLayer','GTM-5MWC6LD');Сервис МойДроп не работает без включённого JavaScript в браузере. Пожалуйста, включите или разрешите его.!function(f,b,e,v,n,t,s) {if(f.fbq)return;n=f.fbq=function(){n.callMethod? n.callMethod.apply(n,arguments):n.queue.push(arguments)}; if(!f._fbq)f._fbq=n;n.push=n;n.loaded=!0;n.version='2.0'; n.queue=[];t=b.createElement(e);t.async=!0; t.src=v;s=b.getElementsByTagName(e)[0]; s.parentNode.insertBefore(t,s)}(window, document,'script', 'connect.facebook.net/en_US/fbevents.js'); fbq('init', '3403835076294214'); fbq('track', 'PageView');window.fbAsyncInit = function() { FB.init({ appId : '507208276561473', cookie : true, xfbml : true, version : 'v3.2' }); }; (function(d, s, id) { var js, fjs = d.getElementsByTagName(s)[0]; if (d.getElementById(id)) return; js = d.createElement(s); js.id = id; js.src = "//connect.facebook.net/en_US/sdk.js"; fjs.parentNode.insertBefore(js, fjs); }(document, 'script', 'facebook-jssdk'));document.addEventListener("wheel", function(event){ if(document.activeElement.type === "number"){ document.activeElement.blur(); } });
@NeuroLabAlgorithms
@NeuroLabAlgorithms Жыл бұрын
По данной технологии нет. Это динамический сайт, который отрисовывается js уже на браузере. Тут надо имитировать браузер и уже потом парить тот html, который отрисует js после загрузки
@user-ty6fq9os9k
@user-ty6fq9os9k Жыл бұрын
@@NeuroLabAlgorithms получается нужно загрузить страницу, вытянуть из неё код и потом парсить? Можно ли это сделать на Го?
@belovaleksey7234
@belovaleksey7234 Жыл бұрын
Смотреть может сайт джейсоном пушит. Тогда надо разбираться с технологией
@user-ty6fq9os9k
@user-ty6fq9os9k Жыл бұрын
@@belovaleksey7234 что интересно, когда открыть это сайт через среду разработчика в браузере, то тогда код там как и положено -HTML разметка. Вот как это делается - узнать бы?
Простой api сервер на Go. Часть 1
22:48
Neuro Lab! Algorithms
Рет қаралды 10 М.
哈莉奎因以为小丑不爱她了#joker #cosplay #Harriet Quinn
00:22
佐助与鸣人
Рет қаралды 9 МЛН
MISS CIRCLE STUDENTS BULLY ME!
00:12
Andreas Eskander
Рет қаралды 21 МЛН
ТЫ С ДРУГОМ В ДЕТСТВЕ😂#shorts
01:00
BATEK_OFFICIAL
Рет қаралды 6 МЛН
Простой web сервер на Go
30:01
Neuro Lab! Algorithms
Рет қаралды 15 М.
GO for Beginners - Web Scraping with Golang Tutorial
17:21
John Watson Rooney
Рет қаралды 28 М.
gRPC в Golang на реальном примере
26:38
BACKEND NINJA
Рет қаралды 17 М.
Скрейпинг сайтов с помощью библиотек Beautifulsoup и Requests на Python
23:05
Мастерская Важных историй
Рет қаралды 77 М.
How To Stream Large Files Over TCP In Golang
17:50
Anthony GG
Рет қаралды 31 М.