原來抓網頁資料已經變得那麼簡單了？一行程式都不用寫，連小學生都能輕鬆上手喔！
Рет қаралды 123,692
Күн бұрын🔹 內容綱要
00:00 安裝 Instant Data Scraper
02:42 安裝 Octoparse
04:23 使用 Excel 做資料清理
🔹 網站連結
Instant Data Scraper tinyurl.com/mrd68zya
Octoparse www.octoparse.com/
Books to Scrape books.toscrape.com/index.html
爛番茄 www.rottentomatoes.com/browse...
🔹 小額贊助 Papaya 電腦教室
方式一：加入頻道會員 (加入後可觀看會員專區的影片喔) tinyurl.com/sxt3d2b
方式二：在 KZfaq 影片右下角點擊「超級感謝」按鈕 🎉
方式三：www.buymeacoffee.com/papayaclass (請 Papaya 喝咖啡)
方式四：p.ecpay.com.tw/A1B71E8 (ECPay)
#教學 #Web #Scraping #Octoparse
@user-qr3rg3mf1m 23 күн бұрын
我覺得要這影片我要跪著看才可以表達我的讚嘆
@boicelu620 22 күн бұрын
?? 這程式也不是他寫的 為啥要跪
@user-qr3rg3mf1m 22 күн бұрын
@@boicelu620 程式被寫出來會不會運用就差很多，EXCEL大家電腦都有 ，但真正會活用的不算多，能深入淺出教大家如何活用我覺得很厲害
@VincentCheng1658 17 күн бұрын
東西到您的手裡就能夠變得簡單易懂，真的是本事，感謝您！
@leiZhang-ww3ir 22 күн бұрын
是我见过讲解教授电脑知识最清晰明了简介易懂的一位博主了，赞！
@J1136Yijia 23 күн бұрын
好強大的東東，總是會有人發明的，我們等著用~~謝謝
@user-beautifulsoup 23 күн бұрын
每次都是愉快地开启和关闭PAPAYA的视频，开心学习就是这么简单。大赞！
@xyz19791225 23 күн бұрын
滿滿的尊敬，感謝分享
@severinewang1930 17 күн бұрын
已經不知道要怎麼形容papaya 頻道的厲害及重要性了👍👍👍👍
@Gosiya 22 күн бұрын
太實用了！謝謝PAPAYA
@Function_range 23 күн бұрын
當我前幾天好不容易學好爬蟲時... 這部影片就出現了，我...好吧，至少我知道原理 如果遇到比較複雜的頁面還是要自己寫w
@user-sd1vd9iq3n 22 күн бұрын
😂我也有好幾次這樣的感受， 好不容易找到成就感，影片就出現了
@colin1016 22 күн бұрын
用過Web Scraper 與 Instant Data Scraper, 這些工具是蠻方便的, 但很多時候抓取結果不如預期, 翻頁的時候抓不到資料, 自動翻頁時跳頁, 翻頁失敗, 資料沒有對齊等, 必須事後下很大的功夫整理, 我認為還是要自己學習編程來抓取, 這些工具當成輔助..
@kuku4629 11 күн бұрын
自己做可以复用，这个每次 还要重新设置一遍。 大部分需要抓的资料都是经常更新的，不可能只抓一遍。
@dbvs506 8 күн бұрын
這個就動態爬蟲 對新手和不會寫程式的人來說比較直觀 就選你撈的欄位和要點選的按鈕 但是速度慢 如果你要爬的資料要爬好幾層網頁 資料還要處理完拿去做別的用途 自己寫爬蟲比較快 可以直接爬api也可以開多線程 一次要爬幾十幾百萬筆資料沒問題
@lightlydo 22 күн бұрын
昨天還在煩惱怎麼抓資料~今天就看這部，感謝PAPAYA
@natsumealice 23 күн бұрын
終於來到這種資訊科技的時代了，以前論文爬蟲對文組來說好痛苦QQ
@HKY-Tuber 23 күн бұрын
收集信息方便
@Unrequired 22 күн бұрын
說實話跟文理組沒啥關係，只是有沒有必要要多學而已； Beautiful Soup, Scrapy, Selenium, HTTP requests這些基本上你只要一步一步照著做而已
@Terry0319 22 күн бұрын
@@Unrequired ==你要確定捏，不懂一點html不是略懂PYTHON就算有CHATGPT也很難爬好ㄇ，這個東西超方便的，就算我會爬我知道這個也懶得花時間去研究網頁架構了，浪費時間
@ZTHUANG 23 күн бұрын
哇！這個工具很實用，感謝分享
@goodday5482 16 күн бұрын
感謝大師!!! 前天看到影片，今天就用上了! 省下超多力氣🙏
@mia.2862 22 күн бұрын
同事說裝爬蟲自動找資料，終於一年後PAPAYA老師來教學了❤🎉
@ouo9454 23 күн бұрын
發明這類工具的人好天才，如此高效請求也難怪網頁要驗機器人😂
@n1xpen703 22 күн бұрын
感谢！刚好工作中需要用到爬虫，这个教程超级实用
@lionsherkh 23 күн бұрын
謝謝師傅 !
@guangfumike 23 күн бұрын
簡單又實用!超強!
@fukaichang2328 21 күн бұрын
太神了！感謝分享及講解❤❤
@shih-tingchen5329 20 күн бұрын
謝謝PAPAYA老師!! 還順便複習了超實用Excel功能!! 之前一直想找，卻不知道用什麼關鍵字來搜尋Trim跟Substitute!!
@mugen8219 17 күн бұрын
精闢的講解!!請收下我的膝蓋...
@user-hr6mp6sz6o 22 күн бұрын
厲害~ 感謝分享
@maygi4918 19 күн бұрын
非常感謝老師，太有幫助了！
@fengarcanine2606 18 күн бұрын
試了一下 還是蠻容易有Bug的 但感謝分享這個方法
@peter-you 22 күн бұрын
這個好實用阿阿阿❤❤❤
@MikewasG 22 күн бұрын
太優質了✨
@breezeana06 22 күн бұрын
讚嘆 ! 正好用上 !
@samwu8070 22 күн бұрын
實用的功能，馬上來試試看
@linfrank8417 23 күн бұрын
滿滿的敬配
@user-vt2iu2hp4p 23 күн бұрын
謝謝！
@shengkai0209 Күн бұрын
很棒的教學
@3cblog 22 күн бұрын
爬蟲難得其實是分析他的架構，決定怎麼抓比較有效率。
@OpinionatedReviewer 20 күн бұрын
這集我一定要跪著看才可以表達我對它的讚嘆
@yichaohsieh 22 күн бұрын
真心佩服
@jessiej8652 22 күн бұрын
天啊 好方便!
@hm.l8763 22 күн бұрын
太方便了🎉🎉🎉
@HKY-Tuber 23 күн бұрын
视频不错
@aids92027 23 күн бұрын
謝謝老師 下跪中
@Hugohabor7799 22 күн бұрын
比較明著來的網頁適合用這類的工具
@bryantliu1355 21 күн бұрын
真滴方便
@pj94213 22 күн бұрын
感謝大神！！！
@rogerhsu8583 22 күн бұрын
跪著感謝
@cracks666 22 күн бұрын
這集有料
@DukehsuPh 23 күн бұрын
谢谢papaya ， 我想到要抓取的数据了
@GaHao 23 күн бұрын
猛啊啊啊
@Mr.Dorameow 22 күн бұрын
太狂拉
@amitaka 22 күн бұрын
為什麼我跪著看, 這太方便了
@eatbananaing 21 күн бұрын
太實用了！ 如果能夠做到 Zepier 連接上 Google Sheet 就不得了
@user-po8rt1dr9e 19 күн бұрын
神啊！！
@BnLee 22 күн бұрын
我的膝蓋在親地板
@chengchetao4503 19 күн бұрын
跪著看完了
@Vocabpass 23 күн бұрын
愛你
@user-fc2wd5in6z 22 күн бұрын
太猛惹吧!!!!!!!!!!!!!!
@user-rx1sx8dz6o 22 күн бұрын
現在爬蟲困難是一堆驗證機器人:
@shangchen7370 23 күн бұрын
還好還沒開始花時間學爬蟲....❤
@pplan 19 күн бұрын
請問有沒有 一次搜尋多網站的爬蟲工具
@CeliaSu 23 күн бұрын
YA~
@Quet_Weilan 23 күн бұрын
老师有了解过影刀吗
@Envy_Alvin 23 күн бұрын
直接用Excel Import Data From Web就可阿
@jasminchen6829 21 күн бұрын
老師好，我用影片的方法用在全國法規資料庫最新消息，擴充判斷’下一頁‘按鈕一直判斷成‘最後一頁’，即便我按影片步驟教導‘下一頁’才是正確的按鈕，開始爬蟲時還是會變成去按‘最後一頁’導致爬蟲資料只有第一頁及最後一頁，想請問有建議的解決方法嗎？謝謝。
@oao1051 23 күн бұрын
OAO!!!!!!! 請問老師這有辦法批量抓圖片嗎? 好需要orz 想要整理家具的材質貼圖 像是沙發的皮革有多種顏色跟布料/金屬件也有多種顏色 放到anytype裡面當資料庫
@aass2288as 19 күн бұрын
之前有用過eagle，批量抓圖非常好用，雖然是要付費，但如果工作上常常使用，絕對很值得
@StanleyLee01 22 күн бұрын
學習了
@mao_cmt 22 күн бұрын
推Octoparse，但想問老師要怎麼爬 youtube 頻道影片列表和設定定時爬取最新影片XD
@vincent_chen1102 20 күн бұрын
kzfaq.info/get/bejne/iqymhNtpp7jGYn0.html 這影片有部分提到爬YT資訊 不知道這能不能幫到你
@mao_cmt 20 күн бұрын
@@vincent_chen1102 有XD 感謝分享~(原本想爬蟲抓過往影片，但後來還是手動蒐集了T^T，現在只要關注新影片)
@winnieshoney84 21 күн бұрын
只能跪著看影片了
@sugarban 20 күн бұрын
實際上就是搜出網頁中寫死的大區塊然後再對內容分類而已 所以只要遇到有進階篩選功能的，就會因為商品區塊改成個別呈現，導致只能抓到一團寂寞
@rex52036888 20 күн бұрын
希望可以教學變成自動爬蟲的方式 不再需要手動爬資料🙏
@bradtsai6746 23 күн бұрын
真的很方便 不過會用爬蟲的狀況多半是要做機器人啦XD
@gqqnbig 17 күн бұрын
做內容農場～
@AKASLS 19 күн бұрын
其实不用浏览器插件多做采集首页那一步，这个采集器的可视化做的蛮简单的，中文版名称：八爪鱼采集器
@briantu8728 22 күн бұрын
這個方法只有一個缺點： 太強了！
@regularshow8958 22 күн бұрын
太神了!我把我淘寶購物清單爬下來加總，14年來買了120幾萬台幣，呵呵!
@papayaclass 22 күн бұрын
你買真多 ~~~~ ！厲害厲害 👍👍👍
@user-br6tq9lr8l 2 күн бұрын
我蝦皮想抓資料，但是蝦皮似乎阻擋了爬蟲軟體，淘寶沒有阻擋嗎！？
@regularshow8958 Күн бұрын
@@user-br6tq9lr8l 爬購物紀錄沒有問題
@user-qz3rv4rr8t 20 күн бұрын
老師你好 我想詢問用photoshop 如何把黑色人物剪影→正常圖片 例如：神奇寶的猜猜我是誰 還原成原本的樣子 請問有沒有相關教學? 感謝老師！！ 原本我是用魔術棒選黑色隱藏的部分 再用曝光度調亮 再來就自己亂搞，雖然看得出輪廓 但不是很自然。。 請告訴我正常的步驟， 謝謝
@papayaclass 20 күн бұрын
嗨，如果沒有原始檔或原始圖層，要把一個非常暗的圖片還原成原來的樣子會有點困難喔， 因為在調暗的過程中圖像會失去一些色彩資訊和細節。 所以要做猜猜我是誰這種效果的話，保留一份原始影像還是最理想的。
@alanhuang0920 23 күн бұрын
如果他是滾動式到底部自動呈現下一頁資料，而不是點擊的話，這也是可以的嗎
@123123doa 22 күн бұрын
終於不用寫程式也可以達到了
@drccr 18 күн бұрын
Octoparse要收費了。 有沒有可取代的免費工具。 謝謝老師
@jackwongbmw 23 күн бұрын
但有些網頁用javascript 出的dynamic content應該不行吧
@gqqnbig 17 күн бұрын
這不是主要問題。第一個瀏覽器擴充工具和第二個工具都內建瀏覽器，可以執行javascript。反而python scrapy之類的編程方法一般不支持javascript。
@ccheyhey 13 күн бұрын
@@gqqnbig應該是說最基本的python 方法是不支援，但只要再加些lib就可以支援
@yungshenchen258 20 күн бұрын
請問大師,爛番茄網頁結構,如果要全部一次抓完所有影片資訊,但是找不到NEXT BUTTON,按下LOAD MORE功能鍵,就只停在現行網頁上，並沒有持續向下抓取資訊，應如何處理?
@Invisible_troll 3 күн бұрын
看了一下，基本上整合了简单的爬虫功能，但如果目标页面十分复杂，还是需要自己写代码
@user-xr6dv4ez3u 22 күн бұрын
請收下我的膝蓋!! 太神拉~~~
@ryanwutw 7 күн бұрын
請問PaPaya, 如果遇到的按鈕是 1, 2, 3, 4 ,5. 有方法解？
@jiawei0812 23 күн бұрын
想請問一下，是不是結構複雜的網站就比較不適用?
@user-cg8zo9xc7d 23 күн бұрын
是，有些網站用的是前後端分離技術，資料是從後端拿的，必須得去觀察網站傳送資料的流程才能抓到規則去爬蟲
@user-ri3iw5et1t 23 күн бұрын
适不适用主要看你具体需求，和网站反爬。其实就是解析页面定位Html标签和class名字等相对做成插件比较方便。需要进阶一点可以试下rpa可视图形式拖拽。再进阶则是使用python结合scrapy去做深度定制
@user-cz7ig3yu4i 23 күн бұрын
限制的問題在於它的爬蟲沒有控制爬行速度與使用者掩護所造成的爬行速度過快而被擋下
@user-ri3iw5et1t 23 күн бұрын
@@user-cz7ig3yu4i 延时爬去是必然，掩护的话考虑的就太多请求头，代理IP还有代理IP质量，登陆等.
@user-cz7ig3yu4i 23 күн бұрын
@@user-ri3iw5et1t 能跟你加聯繫嗎
@piterashi 22 күн бұрын
謝謝老師 24/6/6
@Chase-Mainland 17 күн бұрын
請問有什麼軟體可以快速抓取pdf內容部分資料,重複動作,將大量抓取的資料轉換成excel😅
@rcom926 23 күн бұрын
大神請受我一拜
@tsaiyungchien1053 19 күн бұрын
請問如果要下載下面網頁所查詢到的csv檔案，如何變成每天自動爬文下載檔案
@phonedr.1013 22 күн бұрын
我太早出生了😢😢 謝謝老師 每一部都好棒
@10053010 19 күн бұрын
請問Octoparse是不是只有14天免費呢？
@user-hi4gg7pw6v 23 күн бұрын
跪著看完
@rainbowyun 22 күн бұрын
可以加抓图片吗？
@chenmiss 21 күн бұрын
請問動態網頁也可以嗎
@lai5478 23 күн бұрын
即時更新?
@yungshenchen258 20 күн бұрын
Octoparse的試用只有14天?
@user-xh5vi8bm5v 23 күн бұрын
抱歉可以詢問有關於word的問題嗎？ 每次開啟word的檔案時，都會有另外兩個舊的檔案被一起開啟， 就是我點擊C檔案，但除了C檔案被打開，同時也開啟了A和B檔案， 每次開啟word都有這個現象，也每次都是A和B檔案被打開 拜託網友幫忙解惑 感謝大家
@charlas99 22 күн бұрын
根據你提供的描述，你在開啟Word文件時，除了目標文件外，還會同時開啟另外兩個特定的文件。這種情況可能是由以下幾種原因引起的： 1. **啟動文件夾**：有時Word會記住上次打開的文件夾中的所有文件，並在啟動時自動打開這些文件。 2. **啟動宏或插件**：某些宏或插件可能會自動打開特定的文件。 3. **最近文檔列表**：Word的“最近使用的文檔”列表可能包含這些文件，導致它們被自動打開。 以下是一些解決方法： ### 檢查啟動文件夾 1. **關閉所有Word文檔**，並重新啟動Word。 2. 點擊`文件` > `選項` > `進階`。 3. 在“常規”部分，檢查“啟動時打開所有文件的文件夾”是否指向一個包含這些文件的文件夾。如果是，請清空或更改該設定。 ### 檢查啟動宏或插件 1. 點擊`文件` > `選項` > `外掛程式`。 2. 在“管理”下拉列表中選擇`COM 外掛程式`，然後點擊`執行`。 3. 停用所有外掛程式，然後重新啟動Word，檢查問題是否解決。 4. 如果問題解決，可以逐個啟用外掛程式，找出引起問題的特定外掛程式。 ### 清理最近文檔列表 1. 點擊`文件` > `選項` > `進階`。 2. 在“顯示”部分，找到“顯示此數量的最近使用的文檔”，並將其設置為較低的數字，例如0，然後點擊確定。 3. 關閉Word，然後重新打開，並重新設置“最近使用的文檔”數量。 如果上述方法仍不能解決問題，可以嘗試重新安裝Office套件，以確保所有設定恢復到默認狀態。
@user-br6tq9lr8l 2 күн бұрын
使用上我有一個問題，我想抓自己的會員資料，無法使用帳號密碼登入，自然無法抓內部資料，請問如何解決，謝謝。
@edyu7871 19 күн бұрын
有辦法將此擴充套件再進行自動化嗎?
@yijunwang5703 15 күн бұрын
Octoparse是做什么的呀
@dunliu6566 22 күн бұрын
厉害(๑•̀ㅂ•́)و✧
@shunruzhang4237 19 күн бұрын
能关联照片一起下载吗？
@redwu5918 22 күн бұрын
原来是讲八爪鱼，八爪鱼很强大的根本不需要插件它自身的循环逻辑就能完成任务
@TheMaydazz 22 күн бұрын
希望教學要如何反網抓？網站變得很慢。謝謝
@gqqnbig 17 күн бұрын
驗證機器人
@reading_matilda 23 күн бұрын
震驚!所以我不用學python了