09 Transformer 之什么是注意力机制（Attention）
Рет қаралды 10,479
Жыл бұрынAttention 是注意力的意思，从它的命名方式看，很明显借鉴了人类的注意力机制，因此，我们首先介绍人类的视觉注意力。
视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。
那怎么让深度学习模型进行注意力计算呢？
博客配套视频链接: space.bilibili.com/383551518?... b 站直接看
配套 github 链接：github.com/nickchen121/Pre-tr...
配套博客链接：www.cnblogs.com/nickchen121/p...
@JujutsuMan 7 ай бұрын
👍 深學學了快半年 當初直接看Transformer 看這個Attention機制真的一知半解~ 現在聽完才知道Key Value 其實是一個Map的關係 然後再配上 Query 得出相似度重要性 我終於搞懂了...真的很感謝!
@user-ne2nr2yi1h 8 ай бұрын
感謝，目前看過最清楚的教學
@aaronwang4210 9 ай бұрын
谢谢，正在上deep learning，看了之后更理解了！谢谢！
@lucienchung1720 2 ай бұрын
加油~感謝你
@user-rn2ok7ks7m 3 ай бұрын
是我听过最简单，最通俗易懂的注意力机制
@birdeye700 4 ай бұрын
Good job
@maxpersistent 4 ай бұрын
很好，相信能帮助到很多人，加油！
@VincentAutos 3 ай бұрын
讲的好
@linear25 3 ай бұрын
大師
@vincentzhou6919 4 ай бұрын
very good
@SuperXW 2 ай бұрын
good
@mixshare 2 ай бұрын
👍👍👍
@zdzjf 4 ай бұрын
因为你边打字边编辑，这个视频的节奏就有点慢且乱。这个过程要优化一下。
@yongqiangzhang4533 8 ай бұрын
加油小伙子！好样的！
@kunko7249 4 ай бұрын
“你不要去关心... 呵呵。。。“
@dumplingpoker 2 ай бұрын
请问那些训练的权重是如何分配的呢，人工的还是有别的算法？
@wadergu 9 ай бұрын
由浅入深的讲解。我好像能开始明白注意力机制了
@kevinjyh 6 ай бұрын
所見全同！！！
@brainsmellrose8733 4 ай бұрын
非常好！ 加油！
@user-zv7nd6gy3h 4 ай бұрын
有两个地方不明白，一个是K是怎么来的，还有后面为什么 会有a1...an*v1...vn，这样做的目的是什么
@user-rn2ok7ks7m 3 ай бұрын
业务上就是你求解的目标呀😂
@user-lq4tr5fe7v 8 ай бұрын
废话连篇
@kunko7249 4 ай бұрын
you are not ready to teach, boy!
Eater Straw Hat
Рет қаралды 16 МЛН
BalcevMMA_BOXING
Рет қаралды 11 МЛН
The AI Hacker
Рет қаралды 940 М.
脑洞乌托邦
Рет қаралды 1,5 МЛН