如何理解“梯度下降法”？什么是“反向传播”？通过一个视频，一步一步全部搞明白

Рет қаралды 25,025

王木头学科学

3 жыл бұрын

梯度下降法是反向传播的一种算法，也是最常用的算法。
梯度是什么？又是如何被用到神经网络里的？
本次视频，不只有直观理解，还有清晰的数学描述

Пікірлер: 46

@amyma2204 7 ай бұрын

说来惭愧，从业ml已经快6，7年了，看了王木头的视频才发现自己还有很多基础的东西都是囫囵吞枣。不得不说最大的收获就是木头这种学习方法，让我不断反思自己的学习过程

@yoyooversea 13 күн бұрын

梯度下降法，讲解得相当通俗易懂！

@maggiekay1 Жыл бұрын

最后说的真的是点睛之笔！通过学习神经网络，来结构我们的学习的过程，真的是高

@Most-qn4fc 2 жыл бұрын

每个人学习的时候应该都有一个小口诀，包括书籍的作者。候很少有人会讲出这些小口诀，导致了学习者相当的学习困难。能自悟出小口诀的，可以彼好的自洽记忆，不能的人往往很快就会忘记。这个小口诀我觉得就是融会贯通的一种表现。感谢up主

@kenlee5374 25 күн бұрын

很棒的表達方式，比怕錯以純數學照本宣科來說，執得鼓勵

@rosewei6072 11 ай бұрын

感谢。你的思维方法和我的很吻合，所以听起来很顺，也很愉快

@user-ki8ef2ok1n Жыл бұрын

講的很棒，雖然還不太理解，可能要多看幾次。看的出很用心地做簡報及研究出自己的理論。

@glorialiu7979 2 жыл бұрын

太喜欢您的授课方式了

@JoJoAllen 3 жыл бұрын

真的很不錯~

@user-uh9vu4lr8k 2 жыл бұрын

谢谢提供的脚手架，对我这个深度学习小白来说久旱如甘霖

@SpL-mu5zu 2 жыл бұрын

好用心的视频

@opgushaaa8603 Жыл бұрын

謝謝木頭的分享!!，網路上很多資源，但是就你的我最好理解，在看的同時也覺得木頭你的理解能力真的很好，講解的很流暢。

@maxxxx9569 2 жыл бұрын

万年潜水员也要上来冒个泡点赞支持一下！讲的太好了！

@ixy6864 2 жыл бұрын

27:29 用链式求导确实是很自然的。因为神经网络的 cost function 本身就是一个复杂一点的函数而已，反向传播算法的本质也就是对neural_network_cost_function求θ的偏导，其实也没什么特别的，但可能是因为这个求导过程实在是太繁琐复杂了，导致很多不太会求导的人不理解，而且求导必须从输出层“反向”计算到输入层，所以就有了个名字“反向传播算法” 28:13 The Feynman Lectures on Physics Volume II - mainly electromagnetism and matter 讲了gradient, divergence and curl. 我本科的时候也没搞懂这些概念，也是看了费曼的书才懂的。。 29:07 Vectorization(Array programming)在机器学习，机器人学等很多学科都是基本操作了，但这也是上了本科的课程才可以接触到，之前的初高中的问题标量就可以解决了，小学初中高中12年都只学了一些简单的没有什么价值的东西😥 29:36 神经网络里面的符号系统我感觉Andrew Ng的machine learning讲的好一些，他用θ来表示了w+b少写了了一个加号和一个字母，Robot Modeling and Control by Mark W这本书里面讲机器人前向运动学的时候也是用齐次矩阵来表示一个rotation matrix + linear matrix，都增加了矩阵的维度方便了我们理解但是也多了一些计算 43:58 吐槽的确实有道理，我们的教材没有定义符全是等号确实难以理解。不过编程语言里的“=”号确实相当于定义，而“==”符号才相当于教材里面的“=”，很多时候我机器学习的数学公式没看懂，但是用python或matlab写的代码就可以看懂！🤣 47:32 里面关于事实与解释和观点感觉讲的好。对与一个事实，不同的人（或者不同的系统）回有不同的观点看法解释，这是不同的解释很可能是等价的没有对与错，好与不好的区别，关键是这些解释能不能符合事实。而且我们的自然语言（无论是英语还是汉语日语）本身就是很模糊的，本身就没有严格的定义与解释，所以用自然语言对事实做出的解释不同也是很正常的。

@user-TweetyBird 3 ай бұрын

我也是，需要多看。非常感谢。我也会推介给我小孩。

@shijundeng9543 2 жыл бұрын

虽然只看了这么一个视频，但是觉得对于事实和解释的区别是很支持的。在很多时候，尤其是一个领域刚入门的时候，网络上很多人的文章对于一个概念的解释只关注准确度，而不去关注读者是否能够很好的理解，在我看来，再准确的解释，如果不能让读者很好的理解，都是没有意义的，如果你想通过解释的准确性来自证自己是多么的NB，真的大可不必，恰恰相反，用最容易让人理解的方式解释清楚一个概念才是真NB。

@KeevnWang 2 жыл бұрын

但往往因为容易理解所以不严谨，于是就会产生歧义，你觉得理解了其实是错的。就像这个博主花了几个视频讲损失函数，但他怼损失函数的概念从开始就理解错了，原因就是他没有去看严谨的定义，而且找了一堆科普文章试图理解，其实并没有理解

@hongkunshi4684 2 жыл бұрын

良心博主

@will19181 2 ай бұрын

如你所說的不嚴謹, 但是卻可以快速幫助我理解, 真的感謝你

@eve2533 3 ай бұрын

太感谢了

@jornchen2575 3 ай бұрын

看了几遍，终于看懂了些

@davidlau7182 10 ай бұрын

太会讲课了！！！

@user-mm9yt1yl2b 2 ай бұрын

梯度就是可以作为向量理解的，吉尔伯特老爷子的系列课程里有过类似的讲解

@ztc106 2 жыл бұрын

這一系列的影片做得非常精彩，但是這一集的符號特別多。不知道是否有辦法製造微小且具體的範例

@woodywan4010 2 жыл бұрын

這集中間的數學還是有點難吃進去⋯ 理解倒是不難, 就是一堆上下標看著頭疼哈哈

@ningzhiyuan Жыл бұрын

这也太复杂了

@user-jr6lb7hd2k Жыл бұрын

加油，梯度下降终于见面

@user-he3el4hf3p 3 ай бұрын

@up主，三维图像咋搞的？Mathematica?Matlab?配合三维图形动态解释看着好舒服。求工具介绍

@jameslin9566 Жыл бұрын

主要是理解好偏导的概念

@Most-qn4fc 2 жыл бұрын

这一集相比交叉熵那一集有点难懂，可能是概念比较多，或者说计划更复杂，或者是中间对概念的解释有些快进。如果本集观众只具有交叉熵那一集视频的基础而没有额外的基础，可能看不懂本集。小小建议~

@Most-qn4fc 2 жыл бұрын

计划=计算

@Charles-rn3ke 3 ай бұрын

我上本科学多元微积分的时候，老师一开始就会强调梯度是一个向量。难道国内和美国教的方法不一样？

@user-nr8oi6nv3r 3 ай бұрын

好耶

@karsten8995 2 жыл бұрын

建议把你所有视频脚本整理出版，求文稿版！

@tommyjarvis2269 Жыл бұрын

搞出来让你做ai视频吗？😃😃😃😃

@karsten8995 Жыл бұрын

@@tommyjarvis2269 作者出版可以赚钱，我花钱买他的知识产权产品，我学会了/学不会，怎么用是我自己的事情

@user-bw8ub5mw8i 2 жыл бұрын

你这个片头，玫瑰铜铃眼吗

@bobjiang82 6 ай бұрын

内容很好，就是有点啰嗦 😁

@ztc106 2 жыл бұрын

影片裡頭提到的「學習率」是什麼東西？似乎沒給出定義，也沒有更深入地解釋，非常可惜。

@hbj418 Жыл бұрын

梯度变换的快慢

@ztc106 Жыл бұрын

@@hbj418 厲害！原來，了解，感謝

@user-zu7rc2ik5g Жыл бұрын

0.75倍感觉不错

@michaelzap8528 Ай бұрын

实话实说。你以前的视频都非常好。但从这一期开始，所谓的梯度下降法，开始暴露出你对于机器学习的哲学和抽象级别的理解的欠缺。这导致了这一期讲解的内容开始不知所云。你原来的机器学习的开场思路是非常正确的。其实你应该顺着傅立叶变换的思路展开学习和讲解，你你会发现所谓的深度学习包括大语言的transformer等等都异常的简单和自然。理解和实际操作实现，不是一件困难的事。