Как работает автоматическое дифференцирование в глубоком обучении?

Рет қаралды 1,298

Күн бұрын

В этом видео рассказываю про прямой и обратный методы автоматического дифференцирования - очень важный алгоритм для глубокого обучения, который позволил осуществлять быстрые эксперименты с архитектурами нейросетей, убирая необходимость каждый раз руками высчитывать производные. Разбираю их на конкретном примере с вычислениями, так что можете проверить свое понимание на практике :)
vk: leshanbog
twitter: / leshanbog
instagram: / leshanbog
0:00 - Приветствие
0:43 - Почему автоматическое дифференцирование необходимо?
1:56 - Альтернативы: символьное и численное дифференцирование
4:29 - Ключевые особенности автоматического дифференцирования
5:35 - Прямой метод. Основная идея
9:03 - Прямой метод. Пример
11:01 - Прямой метод. Анализ и ограничения
13:22 - Обратный метод. Основная идея
14:24 - Важные различия прямого и обратного метода
15:40 - Обратный метод. Пример
19:22 - Почему обратный метод подходит для глубокого обучения?
21:00 - Autograd в PyTorch
22:59 - Заключение

Пікірлер: 3

@user-ji1st5zj7u 2 жыл бұрын

Очень нравятся твои объяснения. Не забрасывай

@VirVen 8 ай бұрын

18:47 у тебя dv3/dv1 = e^y ' = y * e^y = -1 e^(-1) и тогда получится 4 - 1/e как в прямом методе)

@user-ku4nn5pw8p 9 ай бұрын

А в обратном методе библиотека вычисляет все Vi путем подстановки чисел до вычисления производных, а потом хранит их в памяти в вершинах графа (т.е. до вычисления всех df/dVi алгоритм вычислит V3=e^-1~0.37 и положит в кортеж для V3, вычислит V5=-4+e^-1=-3.63 и положит в кортеж для V5 и тд)? И если для вычисления dV4/dV1 нужно значение V2, то алгоритм заново пройдет по графу, дойдя до кортежа с V2 на первом месте и возьмет оттуда уже вычисленной значение? И я правильно понимаю, что этот метод - это просто обычное дифференцирование сложных функций из 10ого класса?