Вот это правда хорошее объяснение. Другие какие то буквы непонятные показывают, словно я их с рождения должен знать, а тут ещё до объяснения каждую букву описали. Супер. Спасибо :)

Здорово, понял на буквах объяснение, но на цифрах всегда полезно посмотреть

Вот реально, лайн и подписка. Из 5-6 видео про обратную ошибку, вы единственный, кто объяснил понятно и я наконец-то понял. Большое человеческое вам спасибо !)

спасибо самый людший угок у тебя. Спасибо что обучаеш бесплатно

как работает нейросеть понимал, как обратное распространение общий принцип тоже вроде понимал. но только сейчас понял _в деталях_ как это происходит! спасибо! важно тут что понять (идея): ошибку с выходного нейрона (если несколько - с каждого) ОБРАТНО распространяем _пропорционально весам синапсов_ от предыдущего слоя к этому слою ну и производной ф-ции активации (в ReLU это 1, поэтому вообще не фигурирует в формуле и так просто стало). p.s. я походу не понимал из-за сигмоида, с ReLU где производная равна 1 стало всё понятно! :-)

супер, это самое лучшее и наглядное объяснение которые я видел, а видел я много. Есть оромная куча видео и ссылок в интернете и даже курсов красивых с кучей элементов в них, с кучей подписчиков, но заминающихся именно на этом моменте и не рассказывающих в таких деталях. Тут есть ответы на многие глубокие вопросы. В качестве улучшений хотел бы отметить, что у вас нет производной тут (точнее есть и равна единице, но если бы активация была бы не Relu, то нужно было бы ее учитывать), но к сожалению этого не сказано. Идеально было бы написать общую матричную формулу, которую можно потом подставить в numpy или pytorch, в которой используются понятные обозначения и пояснить как тут применяется chain rule.

Всё понял. Спасибо!

То есть, если у нас несколько выходных нейронов, то ошибкой будет (сумма произведения весов на соответствующие им выходы) * производную активационной функции?

А почему дельта_3 используется в корректировке весов и w_36, и w_13? А если в сети будет несколько скрытых слоёв, то дельта_3 будет использовать при корректировки весов во всех слоях?

Спасибо большое, просто огромнейшее, понял только Ваше объяснение происходящего. Пишу нейронку по классификации(входные данные- вектор размером 75000), без вас - никак))

Хотел бы уточнить: какое значение аргумента подставляется в производную функции? Результат в нейроне? (4:55)

Спасибо! Только я не совсем понял, как именно в dW24 получилось -0.336. Мы делим самый большой вес на 2? Не понял логику действия.

Почему расчетная формула изменения весов для скрытого в выходной слой, не включила умножение на входящее значения предыдущего нейрона. В то время как формула из первого слоя (входного) в скрытый это учитывает? Это намеренная ошибка? Просто если не учитывать силу сигнала какого-то слоя, то эти веса будут изменяться пропорционально, что прекратит балансировку на этом уровне - это именно актуально для RELU, для сигмойды из-за производной такая балансировка происходит, так как присутствует в т.ч. умножение на входящий сигнал!

Все уроки по обратной ошибке поделились на два лагеря: у одних ошибка - это "Что получилось" минус "Что ожидалось", у других - наоборот. Приходится работать с двумя вариантами и долгими ночами искать верный.

А разве ошибка не будет равна квадрату разницы полученного и желаемого значения навыходе последнего нейрона?

Можно побольше формул

Если это вычисление повторять много раз то ошибка стремится к 0, а не 0,5

вроде как формулу изменения веса не должна включать значение самого вес

А разве ошибка не должна быть среднеквадратичной?