GASでお手軽Webスクレイピング【Google Apps Script】

  Рет қаралды 24,039

のえ研 〜NoelRecordsのプログラミング研究室〜

のえ研 〜NoelRecordsのプログラミング研究室〜

3 жыл бұрын

※新しいGASのエディターだと動画内で使用しているライブラリ「Parser」をプロジェクトキー「M1lugvAXKKtUxn_vdAG9JZleS6DrsjUUV」で追加できないようになっています。古いエディターに切り替えてからプロジェクトキーでライブラリを導入するか、スクリプトID「1Mc8BthYthXx6CoIz90-JiSzSafVnT6U3t0z_W3hLTAX5ek4w0G_EIrNw」で導入するようにしてください。
-------------------------------------------------------------------------------------
Google Apps Script(GAS)を使ってWebスクレイピングのプログラムを作ります。GASはJavaScriptベースのスクリプト言語なので、基本的にコードの書き方はJavaScriptと同じように書けます。
一般的にWebスクレイピングのプログラムを書くときはPythonをよく使うと思うのですが、GASでも書けます。
GASで各メリットとしては以下のことが挙げられます。
・無料
・環境構築不要
・サーバーレスで定期実行可能
・スプレッドシート等との連携が簡単
逆にデメリットです。
・ブラウザ内のエディタが使いにくい
・動作速度が使いにくい
・モバイルデバイスからは基本的には使えない
メリットの中で最も魅力的なのは「サーバーレスで定期実行できる」ことだと思います。
例えばPythonでWebスクレイピングのプログラムを作っても、その後サーバーを用意して定期実行のプログラムも作る必要があります。
しかしGASならトリガー設定で簡単に行なえます。
ただ、GASはWebスクレイピングのプログラムを書くにはあまり向いていないかもしれませんが・・・。
どのようなシステムを作るかにも寄るので、GASを使うことも一度検討してみても良いとは思います。
--------------------------------------------------------------------------------------------------------------------------------------------
2020年12月からGASのエディターが新しいものに変わったので、解説しました。
Google Apps Script(GAS)の新しいエディターの変更点についてざっくり確認してみた【Google Apps Script】
• 新しいエディターの変更点についてざっくり確認...
-------------------------------------------------------------------------------------
動画内で使用したテキスト検索・抽出ライブラリ
Parser
www.kutil.org/2016/01/easy-da...
-------------------------------------------------------------------------------------
以前に投稿したJavaScriptの変数宣言の動画です。
「var, let, constの違い!?【JavaScript】」
• var, let, constの違い!?【J...
-------------------------------------------------------------------------------------
以前に投稿したWebスクレイピングの解説動画です。
「すぐできるWebスクレイピング [python]」
• 【基本】すぐできるWebスクレイピング (p...
「【画像保存】Webスクレイピングによる画像保存を徹底解説!!(Python)」
• 【画像保存】Webスクレイピングによる画像保...
「【CSV出力】Webスクレイピングで取得したデータをCSVファイルに書き出す方法を徹底解説!!」
• 【CSV出力】Webスクレイピングで取得した...
-------------------------------------------------------------------------------------
※Webスクレイピングは使い方によっては「偽計業務妨害罪」等の罪に問われる恐れもあります。
サイトのrobots.txtや利用規約を確認して正しく使いましょう。
Webスクレイピングの注意事項に関しては以下のサイトが参考になります。
【スクレイピングと法律】スクレイピングって法律的に何がOKで何がOUTなのかを弁護士が解説。
it-bengosi.com/blog/scraping/
スクレイピングは違法?スクレイピング前に注意すべきこと
qiita.com/ScrapeStorm-JP/item...
Webスクレイピングの注意事項一覧
qiita.com/nezuq/items/c5e827e...
--------------------------------------------------------------------------------------------------------------------------------------------
今後の頑張りに繋がりますので、高評価・チャンネル登録もよろしくお願いします。
↓チャンネル登録は以下のリンクからでもできます!
/ @noelrecords-programming
ツイッターでも情報を発信しています。
/ noelrecords_app
欲しいものリスト作ってみました。
開発環境を更新したい!!いろいろ実験してみたい!!
www.amazon.jp/hz/wishlist/ls/...
#プログラミング #GAS #NoelRecordsのプログラミング研究室

Пікірлер: 7
@Omusubisan
@Omusubisan 2 жыл бұрын
これは面白い言語ですね。 僕もGASを勉強してみたくなりました。 スプレッドシートに抽出できるのですね。 グッド👍です!
@noelrecords-programming
@noelrecords-programming 2 жыл бұрын
GASは固有の関数以外はJavaScriptと同じですし、環境構築も不要なのでいいですよ〜☆
@user-lt4vy5oi6e
@user-lt4vy5oi6e 2 жыл бұрын
とてもわかりやすかったです!!
@noelrecords-programming
@noelrecords-programming 2 жыл бұрын
コメントありがとうございます! お役に立てたようで良かったです(^^)
@noelrecords-programming
@noelrecords-programming 3 жыл бұрын
新しいGASのエディターだとプロジェクトキー「M1lugvAXKKtUxn_vdAG9JZleS6DrsjUUV」ではライブラリが追加されないようです。 古いエディターに切り替えてからプロジェクトキーでライブラリを導入するか、スクリプトID「1Mc8BthYthXx6CoIz90-JiSzSafVnT6U3t0z_W3hLTAX5ek4w0G_EIrNw」で導入するようにしてください。 またヤフーニュースの見出しリストのクラス名は定期的に変わるようで、現在は「topicslist_main」ではないようです。 動画内のプログラムを試す際はデベロッパーツール等で現在のHTML構造を確認するようお願いします。
@user-qe6xz1xu8p
@user-qe6xz1xu8p 3 жыл бұрын
こんにちは。動画拝見させていただきました。 Googleマップから飲食店の店名と住所を抜き出したいのですが、教えていただけませんか? また市ごと絞って抜き出しできたりしますか?
@noelrecords-programming
@noelrecords-programming 3 жыл бұрын
動画の視聴・コメントありがとうございます。 「Googleマップから飲食店の店名と住所を抜き出したい」とのことなのですが、動画とは直接関係がないことなので、申し訳有りませんがお答えしかねます。 動画外のことを個別で対応してしまうと、キリが無くなってしまうので。 もちろん、仕事としての依頼ならば引き受けさせていただきます。 しかし今回の件はGoogleマップの利用規約に違反すると思われますので、依頼としても引き受けることはできません。 GoogleのサービスであるKZfaqで動画投稿しているので、万が一利用規約に違反した行為でアカウントをバンされてしまうと困ったことになりますので。 申し訳有りません。 今後ともよろしくお願いします。
続・GASでお手軽Webスクレイピング【Google Apps Script】(cheeriogs)
7:04
のえ研 〜NoelRecordsのプログラミング研究室〜
Рет қаралды 6 М.
Google Apps Script(GAS)でAPIを爆速で作成
24:31
NJの初心者向けAI講座
Рет қаралды 6 М.
Became invisible for one day!  #funny #wednesday #memes
00:25
Watch Me
Рет қаралды 58 МЛН
- А что в креме? - Это кАкАооо! #КондитерДети
00:24
Телеканал ПЯТНИЦА
Рет қаралды 7 МЛН
Хотите поиграть в такую?😄
00:16
МЯТНАЯ ФАНТА
Рет қаралды 2,3 МЛН
How to Scraping with Parser [Google Apps Script]
38:41
NJの初心者向けAI講座
Рет қаралды 13 М.
スクレイピングとは?できることややり方をわかりやすく紹介
10:21
SAMURAI ENGINEER [侍エンジニア]
Рет қаралды 15 М.
【30分で習得!】Google Apps ScriptのGmail操作についてわかりやすく解説!
35:02
いまにゅのプログラミング塾
Рет қаралды 33 М.
GoogleスプレッドシートGAS【実践】フィルター機能の効率化!自作検索フォーム!【解説】
34:00
業務効率化のちゃんりょう【作品配布】
Рет қаралды 10 М.
【2023年最新版】10分で理解できる!Google Apps Script(GAS)の基本知識
10:13
What Happened To Google Search?
14:05
Enrico Tartarotti
Рет қаралды 3,1 МЛН
GoogleスプレッドシートGAS【基礎】4-1:GASとは?セルに文字を自動入力する方法!【解説】
16:17
業務効率化のちゃんりょう【作品配布】
Рет қаралды 16 М.
洗脚水还能这么用#海贼王#路飞
0:18
路飞与唐舞桐
Рет қаралды 8 МЛН
Решила папу порадовать
0:33
FanClub Garik Ugarik
Рет қаралды 9 МЛН
Крючок застрял в пальце - что делать? 😬
0:19
СПОРУ НЕТ!
Рет қаралды 3,2 МЛН
Если я куплю себе такую зубную пасту…
0:13
Зубная паста ZUBOOTH
Рет қаралды 6 МЛН
Wonderful street food making skill
0:25
Fruit University
Рет қаралды 115 МЛН
Всегда снимай кольцо на речке
0:34
RICARDO
Рет қаралды 6 МЛН