Рет қаралды 12,101
つい先日、Transformerが従来型のニューラルネットワークに比べて、その表現力が圧倒的に豊かであることが数学的に証明されました。これを切っ掛けに、私なりにTransformerについて考えたことを話したいと思ったので、この動画を作成しました。
Transformerの中心的な機能であるAttentionがTransformerが賢い理由を掴んでいるわけですが、なぜ従来型のニューラルネットワークでは実現できないような、高度な処理が可能なのか、私なりの解釈を紹介しました。
最後までご覧いただくと、ChatGPTをはじめとしたTransformerベースのLLMについての見方が変わるのではないかと思います。
ブログ、Twitter、Instagramでも、情報を発信しています。
チャンネルの登録や、フォローお願いします!
blog:agirobots.com/
twitter: / agirobots
instagram: / agirobots