Спасибо тебе за видосы. У меня сейчас тяжеловое время в жизни, но они реально помогают!)

Большое спасибо за информацию. Делаю первые шаги в мире парсинга. Было очень интересно!

Очень интересные мысли. Сегодня ваш канал в рекомендациях появился и я подзалип на канале. Очень полезно. :) Периодически тоже заказы на парсинг приходят, сталкивался с частью проблем, озвученных в видео. Но и нового для себя тоже взял. Спасибо за ваш труд по созданию полезного контента. Очень крутой канал. :)

Очень интересно было послушать, спасибо за прозрачность

Вот что мне нравится, так это то, что в этом видео показано, как делать бизнес чисто на айти тематике. Никакого rocket science тут нет и в помине, идея бизнеса лежит на поверхности. Любой программист ещё в юные годы пытался что-то парить. А тут ребята сделали из этого достаточно доходный и стабильный бизнес. И рассказывают все нюансы. Респект за это.

спасибо за информацию и открытость. понравилось. подписался.

Пишу парсеры больше года за 2к рублей, услышал про прибыль в несколько миллионов, поплохело. Пойду заварю дошик, надо все обдумать

Вот тебе свезло конечно) надеюсь дальше будет так же) удачи

Мега огонь! Очень полезно и интересно.

Как всегда топ инфа!

Очень интересный видос! Работаю программистом, о собственном бизнесе даже не задумываюсь, но так интересно послушать что там творится. 🙂

Круто что ты реально знаешь как тут тащить и юзаешь разные игры и тактики!

лучший бложик по айти за последнее время, который я видел) спасибо)

Максим спасибо большое за очень позновательные видео. Подскажите пожалуйста в каких нишах парсинг более всего востребован? Например из каких отраслей к вам чаще обращаются за парсингом?

Оч хорошо, спасибо. Смотрю...

Спасибо!

шикардос, благодарен

Все верно! Удачи и процветания, коллега!

Да, было полезно, спасибо

спасибо за информацию! делаем агрегаторы с использованием парсинга - отлично идет! делаем сами, изучаем, развиваем свою экспертизу - на этом и работаем. Видео полезно. Благодарю!

Правильно, что сказали про таймауты между парсинговыми запросами, про перерывы и т.п. Есть сайты, которые сами предоставляют данные, дают аккаунт и они жестко указывают частоту запросов, если вы их нарушите, вас забанят. Конечно, вы можете использовать несколько прокси с несколькими аккаунтами и тянуть параллельно данные. Но я, когда занимаюсь парсингом обычного сайта, придерживаюсь такого же алгоритма, чтобы ненамеренно не заддосить. А данные, в зависимости от области, могут идти на пополнение баз знаний, для ИИ и т.п. Обычно в компании такая задача даётся одному программисту и он, имея наработки в этой теме, может быстро спарсить новый сайт, настроить регулярное обновление данных с этого сайта и т.п.

Спасибо вам за информацию!

Я полностью доволен этим казиком. Играю здесь уже пару месяцев. Пока все гуд)🍊

А как рассчитать цену за парсинг? Объём то может быть разный. Чтобы зарабатывать, нужно же рачитывать цену за одну строку данных.

Интересное видео.

Интересный видос, тоже в компании много парсим и сейчас строим проект сначала для себя, потом возможно выкатим публично связан с парсером организаций. Скажите пользуетсь ли selenium или другим движком для эмуляций действий. Ведь иногда парсить приходится не в лоб html контент, а получая данные после некоторых манипуляций со страницей (например карты) . Еще есть phantomJS, но пока это не использовал. Если не секрет поделитесь хотя бы намеком. Будет полезно

Вовремя ты переключался, красавчик) так бы мог до талого играть и все слить) А сейчас окуп славил. Класс)

А есть сайты которые банят по IP если не скачиваешь картинку?

Максим, спасибо за видео, очень полезно. Напишите, пожалуйста, название хостера для серверов (не смог расслышать)

Как определить, что сайт держит вашу нагрузку или уже перебор?

Хорошие у Вас видео, не боитесь говорить так как есть, спасибо! Максим подскажите, а как Вы формируете цену на парсер (или любой другой продукт) для клиента, чтобы это была аренда, а не разовая оплата, с учетом того, что это будет индивидуальная разработка под конкретного клиента и как договариваетесь об этой цене, имеется в виду как обосновываете?

Доброго дня! Мне всё понятно, то, что Вы говорите. Бланодарен за информацию. А Возможно с Вами лично созвониться ? Как сконтактировать?

Сервисы по подбору автострахования также работают через парсинг? где по номеру авто выходит вся информация по автомобилю

Благодарю за видео. Выписал для себя 20 пунктов на вооружение.

Было интересно послушать как человеку, который полтора года работал в отделе парсинга) Некоторые вещи вызывают улыбку, но, в целом, очень здраво

трекк тайм 18:00 не совсем уловил , данные из инет магазина лежащие в открытом доступе парсить можно , но продавать нельзя ? не уловил чето совсем

Спарсят всё, вместе с ботом XD пасибо за интересный видос. Случайно наткнулся когда искал как бы струкрутировать инфу. и вааааау. крутяк. настроение поднялось.

Здравствуйте, подскажите куда пойти учиться чтобы научиться парсить! И освоить эту профессию с нуля!

6:09 Никогда, никогда, никогда не покупай в офис ИТ компании стул ИСО за 1000 руб.! :)

Привет Максим, а я парсил и картинки) 12000шт с гугл, 5000 с янды, и норм, и можно даже сразу сжимать эти картинки, чтоб на хостинге клиента аесили не много😊

Вакансии есть к вам на работу? Где посмотреть ? Язык не важен, ну экономия на серверах в зависимости от языка.

как думаете возможно обучиться самостоятельно в нете парсингу и зарабатывать на этом в соло через фриланс? и какие это будут суммы в месяц если реалистично?

как у вас вскрывается капча? программно или человек ?

Сколько будет спарсить вк?)))))) Спасибо большое, очень интересно и полезно для тех кто решится

❤

я для себя собирал быстро, но включал в то время когда сат минимум нагружен, чтоб не положить и проверял не забанили ли, подбирал тайминги.😁тот же hh парсил, 20 страниц быстро побежался ночью, пауза, еще 20. и не каждый день, раз в месяц общую статистику собрал и ушел.)) тот что тяжелый парсер у меня, он да, он идет с паузами 3-4сек. но он и парсит не 3 минуты а 30-40 минут.)) но там уже бегает по именно вакансиям развернутым, там нагрузка больше, поэтому тайминги такие чтоб не дидоснуть случайно.))

22:40 по поводу "вы взяли данные и получаете выгоду" вы же по идее собираете информацию и продаёте её, т.е. получаете выгоду с помощью информации, которую собирали у себя на сайте другие, забираете её себе и перепродаёте так сказать. (не в упрёк, пытаюсь понять как это в плане законности работает)

А вакансии есть? Я 2 года назад этим занимался

Про парсеры сам думал, была идея saas сделать но по факту это такой геморрой, потому что парсеры постоянно ломаются если парсят более менее серьезный сайт и все это нужно поддерживать. Можно конечно сделать некий менеджер парсеров, но это как раз таки уже не так сложно и думаю такие решения уже существуют. Хотя в целом представляю себе гипотетически некий конструктор парсеров в котором предусмотрены компоненты которые часто используются для написания парсера, но опять же, слабо верится что можно будет добиться эффекта швейцарского ножа. Все равно придется писать кастомный код и накручивать костыли. Я писал парсер объявлений с Яндекс.Услуг. 3 месяца проработало, а потом сломалось. Хотя парсил с таймаутом по 2 секунды между запросом и 30 минут между обходом всех страниц в выдаче, чтобы не наглеть. В итоге тот еще геморрой был. Периодически меняется api, блочат по ip, усложняют каптчу и так далее. Как будто специально хотят усложнить парсинг. Потом чтобы они меня по ip не банили перевел парсинг запросы на их же лямду. Ежемесячного бесплатного гранта хватало на парсинг))

👍🔥💯💥💯🔥👍

Единственная проблема в парсинге - постоянные платежеспособные клиенты. Есть системы, которые способны автоматически генерировать парсер для конкретного сайта, и делать остальную работу (прокси , очереди, пайпланы данных и т.д.)

Макс, почему нельзя просить е-мейл и телефон, ведь, это тоже открытая информация. Когда пользователь вводил данные, он согласился на "обработку персональных данных".

Круто. Почему не боитесь конкуренции?

Вы какой программой парсите? Басом?

А почему именно мобильные прокси, а не серверные? С какими проблемами сталкивались? Спасибо.

Что касается it и тем более ИИ, хочу сказать что я понял одну вещь: никогда не говорите никогда, потому что потом будет стыдно и смешно. Про ИИ уже говорили: он никогда там не сравнится с человеком, он никогда не сможет творить и тд... На любую задачу найдется алгоритм который будет справляться с ней лучше чем человек. Потому что вычислительная мощность процессоров на порядки быстрее чем у мозга. И задержка в передаче сигнала ниже. Человек пока что алгоритмтчески опережает компьютеры в решении некоторых задач, потому что уже натренирован на их решении и архитектурно оптимизирован. Это лишь вопрос "когда", а не "будет ли".

👍👍👍👍

а вы не пытались спрашивать почему они так реагируют негативно? это же вроде не продавцы на рынке, которые думают, что цены у них нельзя снимать

Не пойму, почему матчинг товаров не получается? Мне эта задача кажется тривиальной.

Интересная тема. Думаю вот как к ней грамотно подойти пока в продуктовом смысле и разогнать на физических лиц....

А если в html коде нет информации (сделано на js. - react, vie js) - тоже спарсите?

💥👋

только коммент написал и ютуб сразу выдал..🤣 спасибо!

Здорово, конечно, слушать про OVER NINE THOUSAND рублей выручки, но что насчёт прибыли? Может, она у вас отрицательная вообще? По своему опыту знаю, что, замалчивая прибыль и заменяя её в презентации выручкой, докладчик стремится манипулировать кадрами низшего звена и кандидатами на равнозначные им должности.

А что если российские сайты наконец поумнеют и будут продавать доступ к своему API? Тогда ваш бизнес просто умрёт.

Чтобы не нагружать сайт запросами чрезмерно, можно интересующую страничку с информацией получить единожды в формате html на жёсткий диск. А потом уже никуда не отправляя никакие запросы распарсить эту страничку и извлечь интересующее.

И это всё не пиздеж 😊. Парсинг хорошая тема, правда что то не пошло у меня. Заказов нет и нет, пошел в 3D печать, а хуль жрать что то надо...

Выгрузки из яндекс услуги. Только данные, парсер не продаю😂

кого сложнее всего парсить, я бы отметил днс скорее всего

И по поводу каптчи хотел высказаться, что в наше время это конечно дикий архаизм использовать каптчу на сайте, и особенно подписывать что мол Проверяем что вы не робот. Полная чушь и деградация. А самая адекватная защита от парсинга это обфускация API, периодическое обновление API, обфускация ответов сервера и кода на клиенте, запутывание http контрактов для общения с сервером, куча кук которые выдаются по какой-то не очевидной логике и конечно знание метрик своих клиентов, настройка прокси сервера чтобы отпинывать или банить тех кто, например, делает в 5 раз больше запросов в секунду чем 90 перцентиль клиентов. Меня дико бесят каптчи со светофорами и автобусами, и особенно когда твой правильный ответ считают неправильным. Полная дичь и отсталость. Точно также как и чекбоксы с галочками которые обойти как 2 пальца обо$$ать.

Минус - нужна обратная связь. Ваша дополнительная прибіль.

слушаю взахлеб для статистики: тоже программист, бизнеса нет

парсю более 4 лет, все что угодно, основные клиенты это конкуренты или НР

Че за сытный окуп пришел)) офигеть я тебе завидую с такими винами)

Я понимаю что вы профессионал в своём деле! Но вы в серьёз считаете что proxy или всякие торы вам помогут быть анонимными? Они конечно же помогают в анонимности людям, которые нахрен никому не нужны. Но грамотному специалисту просто понадобится больше времени чтобы вычислить. Где нужно было бы 10 минут, ему понадобится 30 чтобы выследить всю цепочку. Просто как вы правильно заметили, что вы работаете в рамках правового поля, и выслеживать вас никто не будет. Ну может кроме конкурентов. Вот от них возможно анонимайзеры и защитят, ибо не у всех кулхакеров есть скилы и инструменты для подобной работы. А вот у IT криминалистов они есть)) И они Очень мощные, и Очень мощные сервера

Пробовал найти подработку, по пирсингу. Бесполезно. Учень узкий рынок.

Парсить не сложно, сложно клиентов искать.

очень интересно, Изучаю Парсинг, прикольная вещь, буду развиваться. Подписался ан вас и в телеге

Почему этика для Вас - это ничто?

в чем вообще смысл говорить клиенту что вы его парсите? ну парсите и парсите, ничего такого. зачем на ровном месте создавать конфликт интересов, озвучивая это.

Эм. Обученный берт и кой-какие препроцессоры и постпроцессоры матчат товары в 90+% случаях. Сложно? Вообще нет. Обучить берта имея хренову гору матченых товаров в датасете изи.

Алоха - на лоха

Даже жалко Вас стало. С такой болью рассказываете о своем бизнесе. Так Вам не легко деньги эти даются

а как продавать 2gis, если не парсить 1 в 1? Заказчики же хотят именно ту инфу, что на сайте...

Заблуждение в том, что нельзя бороться с парсерами. Согласен только, их совсем не победить, но можно сделать так, что заказчик просто не осилит ценник у парсеров. Парсинг станет экономически не выгоден. Хороший админ это сделает не потея. Жаль, что вы этого не понимаете. Что на том конце сидит админ, а вы так и будете действовать по шаблону. Я говорю не про монстров рынка, а про обычные средние и мелкие фирмы. Вот у меня был случай. Юридическая фирма в сфере авторских прав заказала парсинг одного бренда. Туда попал и мой сайт. Авторское право было как предлог давления для выравнивания цен на рынке. Эта была увлекательная война. В которой я победил. Я научился в логах на глаз уже отличать паука и от живого запроса. И чем дальше шла война, тем больше я учился. Да, конечно сервер был не в России. Чтобы не было абуз от юристов. Потому что у нас законодательная импотенция. Вот и существуют такие юристы и даже юрлица оказывающие услуги по парсингу. И почему такие говноеды как вы, говорите, что вам насрать на моральную составляющую и при этом говорить о какой то этике парсинга? Эдакие геи на пол шишки.

Посмотрев одно его видео, вы уже знаете суть его 99% видео. Чувак с пустого в порожнее в каждом видео переливает. Парсинг, скликивание, нужен продукт, грант от государства на 4 млн и в айти все нет хорошо, как вы думаете. Вот про это он в каждом видео толчет воду в ступе.

Продам базу 2 ГИС