【速習！】Attentionから始めるTransformer超入門

Рет қаралды 18,555

Күн бұрын

この動画ではAttentionの起源からTransformerの入門レベルの内容までをスライドで説明したものです。
※要点を絞った解説動画も出しています！
• Transformerについて本質を分かりや...
slideshareにてスライドを公開しています↓
www.slideshare.net/AGIRobots/...
【目次】
00:00 OP
02:03 目次
03:20 認知科学と注意（Attention）
09:11 深層学習と注意（Attention）
13:02 RNNの基礎
17:34 Seq2Seq
23:13 Seq2Seq + Attention機構
27:26 CNNの基礎
36:15 SENetとAttention機構
38:41 ここまでの話のまとめ
39:46 Attention機構の種類
41:56 Self-Attention GAN
43:24 Transformerのアーキテクチャ
47:12 Embedding層
50:15 Positional Encoding
54:51 Multi-Head Attention
57:41 Scaled Dot-Product Attention
1:01:50 Position-wise Feed-Forward
1:03:34 Transformerのアーキテクチャまとめ
1:05:19 Transformer block 基本ユニット
本スライドの作成に際して勉強で利用したおすすめの書籍について紹介します。
・イラストで学ぶ認知科学 (KS情報科学専門書)
amzn.to/3xTetnA
・scikit-learn、Keras、TensorFlowによる実践機械学習第2版
amzn.to/3nfcHb6
・深層学習改訂第2版 (機械学習プロフェッショナルシリーズ)
amzn.to/3OACgPO
ブログ、Twitter、Instagramでも、情報を発信しています。
チャンネルの登録や、フォローお願いします！
blog:agirobots.com/
twitter: / agirobots
instagram: / agirobots

Пікірлер: 24

@AGIRobots 2 жыл бұрын

slideshareにてスライドを公開しています↓ www.slideshare.net/AGIRobots/... 2:03 目次 3:20 認知科学と注意（Attention） 9:11 深層学習と注意（Attention） 13:02 RNNの基礎 17:34 Seq2Seq 23:13 Seq2Seq + Attention機構 27:26 CNNの基礎 36:15 SENetとAttention機構 38:41 ここまでの話のまとめ 39:46 Attention機構の種類 41:56 Self-Attention GAN 43:24 Transformerのアーキテクチャ 47:12 Embedding層 50:15 Positional Encoding 54:51 Multi-Head Attention 57:41 Scaled Dot-Product Attention 1:01:50 Position-wise Feed-Forward 1:03:34 Transformerのアーキテクチャまとめ 1:05:19 Transformer block 基本ユニット

@kou5528 7 ай бұрын

Transformerを触り始めたもののイメージが掴めず、本動画で解像度が高まりました。引き続き勉強がんばりたいと思います。素晴らしい動画をありがとうございます!

@forceliquid2097 2 жыл бұрын

すごく丁寧で助かりました。

@AGIRobots 2 жыл бұрын

ありがとうございます！

@logico13 8 ай бұрын

本当丁寧でわかりやすい。もっと伸びてほしいチャンネル👍

@AGIRobots 7 ай бұрын

ありがとうございます！頑張ります～！

@MultiYUUHI Жыл бұрын

神動画

@user-xu9pt9bt3x Жыл бұрын

TransformerとかAttentionとか単語レベルでしか聞いたことない人間でしたが、めっちゃ分かりやすかったです。入門にちょうど良いかもしれません。

@user-io5ee8rc2s Жыл бұрын

Transformerの書籍と合わせて本動画を参考にさせていただいております。書籍の方では分からなかった所が、動画で見るとすんなり理解できたりして大変助かっております。丁寧な図解による説明していただきありがとうございます🙏

@AGIRobots Жыл бұрын

お役に立てて何よりです！

@tyama1224 7 ай бұрын

美味しい料理の匂いにも注意が向く。カレーとか鰻の蒲焼きとかね。嗅覚的注意ですね。(笑)

@shinsogayborg 2 ай бұрын

Atentionまでは独学で勉強しておりまして、Transformerを理解したくて当該動画を拝見させていただきました。しかし、やはり分かってい部分しか分からない・・・という知能の低さで申し訳なく思っております。 AtentionからTransformaerへの以降がぶっ飛んでいるような。３９分からのクエリ　キー　バリューが突如として出てきて迷子になってしまいました。出直してきます！

@hogehoge7956 2 жыл бұрын

丁寧な解説ありがたいです。一つ質問なのですが、55:02以降のMulti-Head Attentionのスライドで、下から入力されたValueにLinearを施した部分に対し、横から伸びた矢印で「QW_i^Q」とありますが、こちらは「VW_i^V」の間違いでしょうか？ Valueに対する線形変換なので重みはW_i^Vになるような気がするのですが解釈を誤っているでしょうか？

@AGIRobots 2 жыл бұрын

コメントありがとうございます！少しでもお役に立てたのであれば幸いです〜質問の件ですが、こちらのミスでした。正解はVW_i^Vです。混乱を招いてしまい申し訳ありませんでした。今後とも当チャンネルをよろしくお願いいたします。

@motostudies_jp Жыл бұрын

個人的にはすごい助かったけど、ディープラーニングとかアテンションとか何となく知ってる人じゃないと理解できない箇所が多い気がするｗ

@AGIRobots Жыл бұрын

貴重なご意見ありがとうございます。以降の解説動画の作成で参考にさせていただきます。

@urushi73 Жыл бұрын

フィードフォワードネットワークの部分の役割が分かりません。どのような効果があるのでしょうか？

@AGIRobots Жыл бұрын

この動画ではFFNについては、あまり触れていないので、ここで簡単に説明させていただきますね。結論から言うと、Multi-Head Attention層の出力を非線形変換するためです。Multi-Head Attentionについては、この動画（kzfaq.info/get/bejne/jrWVnsd-p86xqIk.html ）で詳しく説明していますが、中に含まれているのは線形層のみで活性化関数を含みません。ニューラルネットワークの豊かな表現能力は、非線形な活性化関数による非線形変換にあります。ですので線形層しか持たないMulti-Head Attentionだけでは不十分なのです。ですので、FFNが必要なのです。

@yshijyo9639 2 жыл бұрын

音声と映像の進行スピードがズレているように思うのでが・・

@AGIRobots 2 жыл бұрын

ご指摘ありがとうございます。この動画は、投稿後にKZfaqエディタと呼ばれるツールを用いて動画の一部カットを行っており、カット処理後に確認した祭は、音ズレしていませんでした。しかし、現在確認すると、コメントいただいた通り音ズレが確認できました。恐らく、KZfaq側の不具合だと思われます。現在、KZfaqに確認をとっております。直に解決すると思われますが、この問題が長引く場合はカット前の動画に戻すことも検討しております。ご不便をおかけし申し訳ありません。何卒ご理解くださいますようお願い申し上げます。

@yshijyo9639 2 жыл бұрын

ありがとうございます！ちゃんと拝聴できました

@AGIRobots 2 жыл бұрын

よかったです！