Transformer论文逐段精读

Рет қаралды 386,735

Mu Li

Күн бұрын

00:00 标题和作者
03:21 摘要
08:11 结论
10:05 导言
14:35 相关工作
16:34 模型
1:12:49 实验
1:21:46 讨论

Пікірлер: 196

@g1y5x3 2 ай бұрын

57:00 感觉是整个精读的精髓，谢谢老师！

@rikkatakanashi9703 Жыл бұрын

讲的非常清楚，非常感谢老师的讲解！！❤

@haoranding3324 11 ай бұрын

感谢大佬，真的是深入浅出！支持老师出更多视频！

@jinhuizhang702 2 жыл бұрын

太棒了，很喜欢精读论文系列

@jasperlin1996 Жыл бұрын

謝謝大佬深入淺出又補充了不少相關知識真的是造福後進

@testyoutubetest5910 Жыл бұрын

理解透彻，讲解深入浅出，还肯花时间录制视频，收下我的膝盖

@tuoli7266 Жыл бұрын

万分感谢! 期待您更多的作品

@cici4148 2 жыл бұрын

最近刚好在学transformers有点疑惑老师讲得非常清晰问题迎刃而解感谢！

@rampagetam9042 Жыл бұрын

解释得非常好，Thanks

@Shyan68 Жыл бұрын

你的解說讓我的眼界更進一步了…

@user-jw8bf7sx6z Жыл бұрын

讲的太好了！非常适合我这样的小白学习。

@tokyoaflowertokyo8300 Жыл бұрын

真有耐心啊，谢谢主播分享

@hw5622 4 ай бұрын

讲得真好，我反复读了好多遍了听你讲还能温故知新太棒了！谢谢李老师！

@alexsuen3506 10 ай бұрын

Thank you very much for you work, Dr. Li!

@justintw888 6 ай бұрын

聽了好幾遍，講得實在太好了！

@jiahangsu7100 11 ай бұрын

谢谢大佬的讲解，详细易懂～感谢感谢！

@karlshomekitchen Ай бұрын

感謝指點我們的注意力

@user-qi6qi7rj3i Жыл бұрын

感谢大佬的分享，非常的浅显易懂，能够很好的将以往的技术和论文中的架构设计结合起来去讲解，让听众能够明白为什么这样设计，以前是怎么设计，以前和现在的设计各自的优点和缺点是什么，视频中还有许多很直观的比喻，之前看原文真实看的一头雾水、不体系，正式因为看到一小段就需要去深入挖掘一些额外的知识才能继续阅读，这可能也是信息密度高的文章比较晦涩难懂的原因，还好有您的视频才让更多对AI、对模型感兴趣的人能够更好的学习这个领域的知识，感谢~^_^

@zhengqingpei7136 4 ай бұрын

讲的太好了。我 AI 完全不懂，都可以理解你讲的。感谢！

@UTE2 Жыл бұрын

非常感谢您的分享！

@LinnaDu Жыл бұрын

大神讲的真是浅显易懂，切中要害，听了那么多版本的attenion，就您这版最好理解。感觉自己听懂了，明白了。非常感谢您的分享。

@senx8758 Жыл бұрын

李宏毅的更细节一些。

@yewenli Жыл бұрын

老师讲的太好了！深入浅出！

@jinhuizhang702 2 жыл бұрын

太棒了受益匪浅

@changken Жыл бұрын

老師太神了

@jx92haha Жыл бұрын

讲的太棒了！！必须点赞

@ryanwang7160 3 ай бұрын

lz讲得真好，视频做得也很上心！一部视频tshirt换了好几次

@bennyzhao6577 Жыл бұрын

讲的太好了老师，谢谢！

@amymu2731 Жыл бұрын

Very impressive! Thank you!

@sephiroth0733 8 ай бұрын

感谢分享层层深入

@jamesmina7258 Ай бұрын

感谢李沐老师，常读常新。

@DakerTT Жыл бұрын

谢谢老师，很有价值的分享。褒奖的褒，念Bao（同保）。

@lilllllllllllll 11 ай бұрын

受益良多，期待更多分享。

@m13253 Жыл бұрын

哇，竟然有一个半小时的全程字幕。辛苦了。

@zyw2134 Жыл бұрын

感谢大神无私分享，拜谢~！

@jonathanwan5519 Жыл бұрын

真的太好了宝藏频道

@cancui1192 3 ай бұрын

感谢，多年之后回来看还是有所收获。

@NierAutomata2B 2 жыл бұрын

膜拜大神，认真学习！

@xiaoxucao470 Жыл бұрын

谢谢老师，感谢大佬带我入门Transformer

@fanyang2061 2 жыл бұрын

谢谢，讲得清晰明了

@zz_home 9 ай бұрын

非常有用,感謝大老

@shl9336 3 ай бұрын

视频真的非常好

@jazlynlin9995 2 жыл бұрын

讲得好细啊！超棒！

@rchenandrews2850 3 ай бұрын

非常赞，讲得很清楚

@allandogreat Жыл бұрын

非常好，大学没有这么好的课程。沐神，身体健康

@user-un3ci9jp7s Жыл бұрын

你在黑你大学的教学质量哈哈

@wenwenzhang635 Жыл бұрын

宝藏博主！谢谢您的分享。想跟着博主学习更多ML的知识。

@brycegu2245 11 ай бұрын

讲的是真的好

@user-bn1rh9xm5h Жыл бұрын

講的太好了，痛哭流涕啊

@show_timemagic7030 Жыл бұрын

感谢老师分享

@kolibre-zhou Жыл бұрын

感谢分享！

@zhaohaiding9220 4 ай бұрын

再来看李老师的讲解，终于看懂了（差不多）

@misspanda5717 7 ай бұрын

在encoder中的自注意力可以计算所有的score（Q*K),encode中的mask是为了防止对输入序列中padding的数据计算分数。在decoder中mask是为了屏蔽“未来“的数据。

@csctbadi Жыл бұрын

真的不错！大神就是大神！

@yunqin3407 Ай бұрын

感谢精讲！挑个小毛病。4:52 褒（音同包）义词

@kennys4100 3 ай бұрын

在LLM大规模发展应用的今天再回头来看这个，感叹核心技术对行业发展的强大推动力，还有就是大道至简

@yian4589 Жыл бұрын

谢谢很有裨益

@noonehere238 Жыл бұрын

讲的真好

@muxingg 4 ай бұрын

非常棒！没有完全听懂，因为不是搞AI计算的，但是几十年前搞过并行算法的科学计算，很多东西是类比的。还是很有收获。大概需要多看几遍

@CasinoBaccaratKingmaker 3 ай бұрын

了不起的成就與貢獻❤❤❤😂😂😂

@derek142 4 ай бұрын

未看先感谢沐神~

@greenshadowooo 5 ай бұрын

Thanks for detail explanation

@unclejoe666 Жыл бұрын

感谢大佬！

@ilpreterosso Жыл бұрын

太感谢啦！

@user-sk3dr8nl9u Жыл бұрын

一輪簽! 謝謝大大，讓我知識完備很多

@TJVideoChannelUTube Жыл бұрын

In Transformer model, only these layer types are involved in the deep learning/containing trainable parameters, and (3) with activation functions: (1). Word Embedding Layer; (2). Weighted matrices for K, V, Q; (3). Feed Forward Layer or Fully Connected Layer. Correct?

@dannyp5358 Жыл бұрын

感謝！

@zy5522 Жыл бұрын

感謝

@hasszhao 4 ай бұрын

目前全网最优论文“解毒”保姆，小白这里佩服你。

@user-bp3zf1rt3t Жыл бұрын

厉害！

@otrees Жыл бұрын

谢谢，老师，太帅了

@tongli4110 Жыл бұрын

感谢！！之前有一个点一直理解错了😂🤣

@yingguo4174 Жыл бұрын

大神❤

@meiriweixin 7 ай бұрын

局外人发言。不小心搜到这个视频。视频看了一大半，觉得博主讲得好，心想这人一定自己懂很多，纳闷他会是哪个大学的计算机老师。原来是传说中的人物:)

@Fat_Cat_Fly Жыл бұрын

感谢！

@JiancongXie Жыл бұрын

感谢~~

@starbuckseric4038 Жыл бұрын

大佬您為何那麼晚才讓我看到您的影片太感激了

@zioncheng7798 Жыл бұрын

Repect！感恩大佬

@xwyangjshb2 Жыл бұрын

感谢🙏

@jameshao2270 Жыл бұрын

多谢！

@user-lh3yi9fi7v Жыл бұрын

辛苦辛苦

@kururuhuang3829 3 ай бұрын

感谢大佬

@williamlee4215 Жыл бұрын

Very good

@terryliu3635 2 ай бұрын

THE BEST!!!

@li-pingho1441 Жыл бұрын

太牛逼了！！！

@sunwrighttrainingschool8138 2 жыл бұрын

加油

@user-iq9cp1ht5w Жыл бұрын

这简直是种享受，大佬教学确实不一样

@knightleung Жыл бұрын

非常好! 唯一有一点没讲太清楚的时候就是训练和预测的时候outputs sequence是具体怎么用的

@samuelleung9930 Жыл бұрын

这个视频还有前两集，它们在visualize上做得挺好的。

@b95109028 Жыл бұрын

大老恕我爆粗口但是給予敬意：他媽的這種視頻都有。謝謝了

@user-ev2ix2rs3c 2 жыл бұрын

大神

@ginawhalevg Жыл бұрын

thanks!

@cy2340 Жыл бұрын

太好了, 反复看!!!!

@xiaominsong 5 ай бұрын

3.3节55:04，在attention之后，经过norm后的feed forward MLP 是“position”-wise，不是“point”-wise。不过大佬的讲解没问题，估计是口误。MLP只对embedded features内部维度做线性变化，position之间是没有交互的，并且是weight是shared。也可以认为每一个position是一个point。