Оптимизаторы нейронных сетей | SGD, RMSProp, Adam | keras.optimizers

Оптимизаторы нейронных сетей | SGD, RMSProp, Adam | keras.optimizers | НЕЙРОННЫЕ СЕТИ 8

Рет қаралды 3,606

Күн бұрын

⚠️ Все ссылки на мои платформы, курсы здесь: taplink.cc/machine_learrrning
Поддержать канал можно оформив подписку на
🎉 boosty.to/machine_learrrning
🎉 machine_learrrning
🎉 А можете скидывать монеты на www.donationalerts.com/r/mach...
Канал в TG t.me/machine_learrrning
Группа в VK machine_learrrning
Курсы на платформе Stepik:
1. Библиотеки Python для Data Science stepik.org/a/129105
2. Введение в нейронные сети (Keras/Tensorflow) stepik.org/a/127274
❓ Вопросы, на которые найдем ответы в этом видео:
- Какие есть оптимизаторы?
- Какие есть особенности в SGD, Momentum, AdaGrad, RMSProp, Adam?
- Какие есть преимущества и недостатки оптимизаторов?
🌟 Реализация модели линейная регрессия - • РЕАЛИЗАЦИЯ ЛИНЕЙНОЙ РЕ...
🤖 Ноутбук из видео colab.research.google.com/dri...
0:00 Введение
0:19 План занятия
0:29 Поддержка taplink.cc/machine_learrrning
0:45 Задача на сегодня
1:38 Самая простая нейронная сеть
2:28 Визуализация ошибки MSE от весов нейронной сети
3:57 Градиентный спуск GD
4:17 Градиент ошибки MSE
6:06 Алгоритм градиентного спуска
7:12 Реализация градиентного спуска
10:11 Стохастический градиентный спуск SGD
10:57 Алгоритм стохастического градиентного спуска (SGD)
11:31 Реализация стохастического градиентного спуска (SGD)
13:37 Визуализация стохастического градиентного спуска
14:10 Mini-Batch стохастический градиентный спуск
14:44 Алгоритм Mini-Batch стохастического градиентного спуска
14:55 Реализация Mini-Batch стохастического градиентного спуска
16:01 Визуализация Mini-Batch стохастического градиентного спуска
16:27 Сравнение GD, SGD, Mini-Batch SGD
17:28 Визуальное сравнение GD, SGD, Mini-Batch SGD
18:32 SGD + Momentum, SGD с импульсом
22:28 Алгоритм SGD + Momentum
22:58 Реализация SGD + Momentum
24:36 Визуализация SGD + Momentum
25:13 Эксперименты с коэффициентом momentum SGD
26:51 SGD в Keras с momentum
27:22 AdaGrad
29:34 Алгоритм AdaGrad
30:03 Реализация AdaGrad
31:45 Визуализация AdaGrad
32:05 AdaGrad в Keras
32:30 RMSProp
33:42 Алгоритм RMSProp
34:15 Реализация RMSProp
35:41 Визуализация RMSProp
35:52 Эксперименты с коэффициентом в RMSProp
37:02 RMSProp в Keras
37:12 Adam
38:24 Алгоритм Adam
38:34 Реализация Adam
40:08 Визуализация Adam
40:21 Adam в Keras
40:30 Эксперимент с оптимизаторами в Keras
41:33 Зафиксировать веса при инициализации, чтобы они не были случайными
42:00 Архитектура сети
42:30 Оформление экспериментов с оптимизаторами
44:59 Отображаем на графике изменение функции потерь
45:59 Резюме занятия
46:08 Минусы и плюсы оптимизаторов
48:49 ♡

Пікірлер: 18

@user-zm2ds1kf4b 9 күн бұрын

Отличный урок, все понятно и доступно! спасибо большое (готовлюсь к экзамену по вычислительным системам...)

@ClearPaper89 10 ай бұрын

Красота. Проснулся, налил кофейку, захожу в ютуб, а тут прекрасная лекция

@TheApgreyd 10 ай бұрын

Очень рад, что вы вернулись

@Maxsemakov 2 ай бұрын

Спасибо, классно, емко и без воды))) Продолжай в том же духе))

@TheDoctorAV 9 ай бұрын

Спасибо за очень понятное и подробное объяснение темы.

@nickolaytelelichcko7203 10 ай бұрын

Ура! Наконец-то.

@paveltimofeev5686 9 ай бұрын

У нас был семинар по этой теме, ничего не было понятно. "Ну ладно", - подумал я: "Тема сложная, сложно понять, приму как есть, что Adam лучший". А вам удалось рассказать, что он лучший, а главное почему. Вы супер преподаватель. Скажите, пожалуйста, как можно попасть к вам на обучение (семинар / вебинар / репетиторство / манторство....)?

@negonifas 10 ай бұрын

Красота, отлично! То, что надо. Спасибо, отлично ты рассказываешь.

@user-oq7ju6vp7j 6 ай бұрын

Спасибо, как раз хотел самостоятельно реализовать все эти оптимизаторы. Как круто, что вы показали как это сделать, а не просто импортировали готовое!!!

@stas_lu 10 ай бұрын

давай серию роликов про stable diffusion!) как она устроена внутри

@petrlifshits2574 6 ай бұрын

Очень рад что наткнулся на канал, надеюсь продолжение не за горами)

@danields966 10 ай бұрын

Спасибо за интересный урок. Рад, что ты вернулась)

@user-ru5fi7ho7d 7 ай бұрын

Спасибо огромное за видео, все понятно объяснено и с хорошими примерами)! 😊

@Qwerty-yg5be 10 ай бұрын

Как раз недавно решал проблему через deep learning, пришлось и про оптимизаторы читать, а тут видео в тему, спасибо. P. S. Как у ML получается быть так лёгкой и сложной одновременно? Я программист, хочу json'ины перекладывать, а не это всё :)

@Midjt 4 ай бұрын

Прекрасные уроки! Давно не было новых. когда будут?

@highpressure1505 7 ай бұрын

Здравствуйте! Скажите пожалуйста, можно ли с вами как то посоветоваться? Мне бы просто знать в какую сторону стремиться для достижения цели И какие видеоуроки стоит в первую очередь посмотреть, а какие не применимы к моим задачам.