В данной лекции обсуждается, как в глубоком обучении применяется автоматическое дифференцирование для обучения произвольных функций. Также рассматриваются модификации градиентного спуска с добавлением импульса и адаптивности.
0:00 Задача обучения функций
7:42 Автоматическое дифференцирование
27:49 Матричные функции
43:40 Градиентный спуск
56:33 Методы второго порядка
1:01:20 Производная по объекту