▼テーマ
Transformer や BERT で爆発的な利用を獲得した Attention の祖となるネットワーク RNNsearch について解説します。
Attention は自然言語で GPT-3 の化け物的な精度を出したのみならず、画像や生成モデルなど、超広い領域に応用されています。
今の Deep Learning を語る上では外せない要素！　要チェック！
▼関連プレイリスト
Deep Learning の世界 • Deep Learning の世界
自然言語処理シリーズ • 自然言語処理シリーズ
▼目次
(後で追加します。暫くお待ちください)
▼参考文献
Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural machine translation by jointly learning to align and translate." arXiv preprint arXiv:1409.0473 (2014).
arxiv.org/abs/1409.0473
原論文です！　当時の歴史も含めて、過度に難解でない感じで書いてあるので、読んでみてもいいかも！
【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita qiita.com/LeftLetter/items/14...
いろいろこれを参考にして動画を作っています
▼参考動画
RNN の動画
→ • 【深層学習】RNN の意味を徹底解説！【ディ...
GRU の動画
→ • 【深層学習】GRU - RNN に記憶をもた...
RNN の3つの使い方（BiGRU のところよくわからなかった人向け）
→ • 【深層学習】RNN の3通りの使い方 - R...
Bi-LSTM の動画（ Bi-GRU の仲間）
→ • 【深層学習】bi-LSTM - 前後の文脈を...
▼終わりに
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ！
お仕事、コラボのご依頼は、TwitterのDMからお願い致します。
動画生成：AIcia Solid (Twitter: / aicia_solid )
動画編集：AIris Solid (妹) (Twitter: / airis_solid )
=======
Logo: TEICAさん ( / t_e_i_c_a )
Model: 3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( / w01fa )