[DeepLearning | видео 2] Градиентный спуск: как учатся нейронные сети

  Рет қаралды 170,474

3Blue1Brown translated by Sciberia

3Blue1Brown translated by Sciberia

3 жыл бұрын

Оригинальная запись: • Gradient descent, how ...

Пікірлер: 133
@user-pu1jg7tm9p
@user-pu1jg7tm9p 3 жыл бұрын
Буду честен, я не ожидал, что второе видео выйдет в озвучке. Я думал, что автор канала забил. Поэтому, спасибо! Я искренне благодарен, надеюсь, что озвучки продолжат выходить. Очень интересно!
@Kenderosik
@Kenderosik Жыл бұрын
на крайней случай можно включать такие видео в яндекс браузере. там нейронка их хорошо переводит :D
@linuxoidovich
@linuxoidovich 8 ай бұрын
​@@Kenderosikпроприетарщина
@linkernick5379
@linkernick5379 3 жыл бұрын
Молодцы, большое спасибо переводчикам.
@Mrsashafr
@Mrsashafr 3 жыл бұрын
Шикарно, великолепно и доступно!
@paveldukov
@paveldukov 3 жыл бұрын
Спасибо!🤝 Вы самая крутая команда в этом направлении.
@mtopsib
@mtopsib 3 жыл бұрын
Впервые понял суть обучения, спасибо
@molotkovm
@molotkovm Жыл бұрын
Это потрясающе! Большое спасибо за такое объяснение и отдельное спасибо за инфографику! Титанический труд
@SpanchBobSpannish
@SpanchBobSpannish Жыл бұрын
Это просто перевод, благодарности надо автору делать, а не переводчику
@user-nr6go3ez3x
@user-nr6go3ez3x 7 ай бұрын
Просто супер! Спасибо)
@user-xe9vr2km7b
@user-xe9vr2km7b 2 ай бұрын
Спасибо, просто великолепная подача материала!!
@darkfrei2
@darkfrei2 3 жыл бұрын
Это всегда интересно :)
@aidenstill7179
@aidenstill7179 3 жыл бұрын
Отличный контент!
@paul.antares
@paul.antares 3 жыл бұрын
Ничего не понятно, но очень интересно. Зачем-то посмотрел оба видео)
@DataScienceGuy
@DataScienceGuy 3 жыл бұрын
Лол, чисто случайно зашел проверить , а тут новое видео)
@maksum4062
@maksum4062 3 жыл бұрын
Когда новое видео
@maksum4062
@maksum4062 3 жыл бұрын
Джамбул на пути к Машинному обучение и нейронным сетим
@MrDarkwolk
@MrDarkwolk 3 жыл бұрын
офигеть какой крутой канал, автор ты крут=)
@DarkFTP
@DarkFTP 3 жыл бұрын
Спасибо!
@TDMLab
@TDMLab 3 жыл бұрын
Спасибо!)
@rubiks7196
@rubiks7196 3 жыл бұрын
Ура наконец-то перевод
@user-iz9sj1nn5q
@user-iz9sj1nn5q 6 күн бұрын
1:57 алгоритм 2:38 MNIST Database 3:10 4:00 вычисление функции ошибки (математическим языком - добавить квадрат разности между каждым "плохим" значением) 4:56 функция ошибки 5:19 6:50 7:04 7:34 8:02 многомерный анализ 8:24 9:18 10:06 10:42 ! 11:27 11:45 вычисл. градиента функции двух переменных 12:10 12:28
@flmew8133
@flmew8133 3 жыл бұрын
Спасибо 🥰
@ARMALON87
@ARMALON87 Жыл бұрын
Очень полезно для новичка, спасибо!
@user---------
@user--------- Ай бұрын
Новичок относительно чего? Я например нихрена не понял....
@blacktechnology6496
@blacktechnology6496 2 жыл бұрын
Просто кайф!
@muhammadumarsotvoldiev9555
@muhammadumarsotvoldiev9555 3 жыл бұрын
Спасибо вам
@KlimovArtem1
@KlimovArtem1 3 жыл бұрын
Вот это видео у него (изначального автора) получилось гораздо мощнее первого вводного!
@ilgarjafarov5482
@ilgarjafarov5482 2 жыл бұрын
super. ocen kruto.
@jefffox8301
@jefffox8301 3 жыл бұрын
Видимо это видео оценили только гики математики и программирования, жаль что таких не много, но я благодарю вас за проделанную работу, good luck ^ω^
@Staryi-Sceptik
@Staryi-Sceptik 3 жыл бұрын
Разве производную не проходят в школе?
@user-be4od3wp7f
@user-be4od3wp7f Жыл бұрын
@@Staryi-Sceptik Ну производную да, но во первых мало кто сидит и пытается понять ее смысл, а во вторых тут это все сложнее. Ну и вот у меня практически все виды математики были на первых курсах и я все это понимал и делал, но т.к. это совсем никак не использовалось я все забыл спустя пару лет, это конечно восстанавливается быстрее, чем учится, но все таки, шо говорить о школе.
@d14400
@d14400 Жыл бұрын
Для гиков это слишком тривиальное видео
@yessenzhol8989
@yessenzhol8989 4 ай бұрын
гики, объясните мне тупому пожалуйста. начиная с 4:00 поплыл: говоря математическим языком нужно добавить квадрат разницы между каждым плохим значением и его правильной величиной... что это такое? почему именно квадрат а не ^4 например, или не ^2/100
@user---------
@user--------- Ай бұрын
​@@yessenzhol8989я тоже ниxрена не понял
@naturetechno6001
@naturetechno6001 3 жыл бұрын
Спасибо
@pencil_12
@pencil_12 3 жыл бұрын
Как всегда топ
@xev1882
@xev1882 2 жыл бұрын
бозе мой, где вы раньше были..
@maksum4062
@maksum4062 3 жыл бұрын
Пока для меня это сложно. Но со временем я вернусь. ДС МЛ НС я иду за вами
@andrewkruchini8614
@andrewkruchini8614 9 ай бұрын
Спасибо за перевод. Только хочу отметить неточность на 18:58: все же "accuracy curve" и "кривая доли правильных ответов" - это совсем не одно и то же по смыслу. Первое про точность (меньше - лучше), второе про успешость (больше - лучше). Резануло несоответствие картинки и звукоряда, подписи на графике заставили лезть в оригинал.
@stanislavserov8622
@stanislavserov8622 Жыл бұрын
Я ничего не понял, но спасибо за полезное видео!
@user-kb7sy3su8d
@user-kb7sy3su8d 10 ай бұрын
Я тупич, и то суть дошла, спасибо!
@user-qi9lk4tp6o
@user-qi9lk4tp6o 3 жыл бұрын
Продолжай в том же духе! Я как раз пишу алгоритмы по нейросетям)
@user-vu9yd9fn8g
@user-vu9yd9fn8g 3 жыл бұрын
Ну, как успехи?
@user-nn1ko1uq6k
@user-nn1ko1uq6k Жыл бұрын
ну а как всё таки успехи
@Anna_Porosenok
@Anna_Porosenok Жыл бұрын
@@user-nn1ko1uq6k да нихера их нет потому что здесь херово обьясняют а даже больше путают.
@user-fh9df3oi6r
@user-fh9df3oi6r 5 ай бұрын
@@Anna_Porosenokа где хорошо объясняют?
@malk900g
@malk900g 2 жыл бұрын
И все же машина зазубривает, как и мы :)
@finn6088
@finn6088 2 жыл бұрын
А зачем квадрат разности тр🤔 чтобы не было отрицательных значений?
@danihov
@danihov 2 жыл бұрын
Объясните, пожалуйста, момент с обучением на неправильных данных. Как сеть, которая обучалась на неправильных данных в итоге может показать такой же результат, как и та, что на верных. Ведь в первом случае для нейросети вилка всегда будет львом. Каким образом нейросеть может понять, что это не лев. Если никто ей не сообщает верных ответов. Видимо я понял неправильно. Буду благодарен, если кто объяснит ..
@duver2957
@duver2957 2 жыл бұрын
Могу путаться в терминах, но объясню как понял я. В первом случае они обучали сеть, выводя из нее данные в неструктурированном порядке. Например, в первой эпохе обучения они ввели в сеть картинку льва. Сеть выдала допустим вилку, но так как этот ответ не верен, мы корректируем ее работу функцией минимизации ошибки. Далее они изменили выходные данные, то есть изменили последний слой. Например на место, где результат был "вилка" она поставили "церковь". И далее начинается вторая эпоха обучения. Таким образом, сеть училась долго, но в итоге запомнила все объекты и стала выдавать нужный результат. А во втором случае они каждую эпоху не меняли последний слой, то есть появилась некая структура. И сеть обучалась гораздо быстрее.
@Azurelius
@Azurelius 3 жыл бұрын
Функция ошибки это функция потерь (loss function) ?
@stepan-klyukin
@stepan-klyukin Жыл бұрын
хэллоу ворлд! в мире нейронных сетей
@datorikai9911
@datorikai9911 Жыл бұрын
Без музыки есть запись?
@Veyron104
@Veyron104 3 ай бұрын
6:12 допустим w в данном случае 2, "мы" спускаемся к 1, но это же не минимум? Минимум будет в -2. Как нам туда попасть, если придётся идти "вверх по горке" ??? 8:35 т.е. в этом случае, если бы минимум функции был не в (3;0), а в (0,5; -2) то пунктирная линия бы прошла "условно" почти "перпендикуляром к оси" от места поворота пунктирной линии?
@oladushek1337
@oladushek1337 Жыл бұрын
4:05 к чему добавить?
@emptyasdf
@emptyasdf 11 ай бұрын
Нарисовано красиво, но в конечном итоге взять и применить отсюда что-то не представляется возможным. Просто концепт объяснили красочно.
@alexandermartin5694
@alexandermartin5694 9 ай бұрын
Это и есть смысл видео, объяснить принцып работы и математику нейросети, а не забивать в питон тупо функции из каких-то библиотек.
@iwouldliketoknowittoo7004
@iwouldliketoknowittoo7004 3 жыл бұрын
Більше перекладів!
@haykharutyun3708
@haykharutyun3708 Жыл бұрын
А как создать функцию ошибки? Как программа должна понять ошиблась она или нет?
@endlessvd
@endlessvd 11 ай бұрын
Sus
@YY-zw2ec
@YY-zw2ec 3 жыл бұрын
Так если делать раз в год видео по нейронным сетям то мы их так и не выучим
@rrraaa9854
@rrraaa9854 2 жыл бұрын
Так что здесь мне кажется что программист учится таким образом составлять новые алгоритмы, то есть обучается))
@kuntumeitan
@kuntumeitan 10 ай бұрын
Ничего не понял, но очень интересно
@user-ju2fm9og4f
@user-ju2fm9og4f 3 жыл бұрын
Не очень понятно про обучение на неверно размеченных данных. Сеть ведь не сможет правильно классифицировать новые изображения не из обучающей выборки. Или я чего-то не понял. Что означает фраза "на обучающих данных удалось добиться той же точности, что и на правильных данных"?
@YY-zw2ec
@YY-zw2ec 3 жыл бұрын
Наверное правильные = проверечные(valid data)
@kirillusenko
@kirillusenko 3 жыл бұрын
В процессе обучения показываются картинки с правильным ответом и сеть учится
@Staryi-Sceptik
@Staryi-Sceptik 3 жыл бұрын
Сеть просто запомнила новые названия для картинок. А не создала способ анализа изображения картинок
@igorshelby5950
@igorshelby5950 3 жыл бұрын
Ответ на вопрос в конце видео заключается в использовании сверточного слоя нейронов?
@constantinveltmann7196
@constantinveltmann7196 3 жыл бұрын
А что если запустить сеть в обратную сторону? Допустим дать ей на нейрон отвечающий за 1 единицу, а на остальные нули. Пройти по обратному пути и построить изображение из входных нейронов, что она покажет? Идеальная единица с точки зрения нейросети
@1Hanch
@1Hanch 3 жыл бұрын
Там много разным методов есть как понять неросеть и этот тоже. Например можно посмотреть за что конкретный нейрон отвечает, для этого надо найти значение функцию выхода этого нейрона относительно изменяющихся входных значениях всей нейронной сети при не изменяющихся весах, и провести градиентный подъем, будет найден входной рисинок при котором максимально активируется нерон. Есть для сверточной сети визуализация тепловых карт активации класса, уверен для этой сети тоже подобное можно применить
@1Hanch
@1Hanch 3 жыл бұрын
тут регуляризацию можно понять и много другое playground.tensorflow.org/
@endlessvd
@endlessvd 11 ай бұрын
Она покажет лишь 2 рисунка, поскольку может быть лишь 2 входа, 0 и 1
@constantinveltmann7196
@constantinveltmann7196 11 ай бұрын
@@endlessvd ничего, что там 10 выходных нейронов? то есть если инвертировать нейронку, будет так же 10 входных можно задать им строго единицу на один из этих нейронов, чтобы получить идельную цифру, а можно поиграться с десятичными значениями, чтобы получить 50/50 то ли 1 то ли два итд
@hottabych137
@hottabych137 2 ай бұрын
Что если... 🤣 Фарш в мясо нельзя обратно превратить
@vinsler
@vinsler 3 жыл бұрын
Нужно добавить значение ошибки, это квадрат разности. А откуда сеть узнает, что именно на рисунке, чтобы определить куда пихнуть 0, а куда 1 ? Это уже не самообучающаяся сеть, а обучаемая, причем на каждую картинку, не сеть определяет правильность, а человек. А на 5 000 000 картинок, задавать правильность, на это уйдет очень много времени. И хорошо, если это уже всем известная система, а если она ноу-хау, и там не 5 млн картинок, а 100 триллионов?
@barkalov
@barkalov 3 жыл бұрын
Есть "обучение с учителем", есть "обучение без учителя". Это разные подходы. Чтобы запилить подобную сеть "без учителя", нужно чтобы на входе и выходе сети было одно и тоже (768 пикселей-нейронов), а в середине сети, на скрытом слое - бутылочное горлышко из 10 нейронов. Тогда сеть будет вынуждена "пропихнуть" изображение каждой цифры через эти 10 нейронов, и восстановить/нарисовать цифру обратно на выходе. Для этого изображения цифр уже НЕ нужно предварительно размечать, сеть их классифицирует самостоятельно на том самом узком слое посередине. Функция ошибки в данном случае будет то, насколько выход сети похож на вход. Можно представить, что такая сеть пытается "заархивировать" изображение в 10 нейронах, а потом "разархивировать" обратно. Для этого она вынуждена будет их классифицировать. Самостоятельно. То есть, без учителя. Profit!
@asanAzimkulov
@asanAzimkulov 2 жыл бұрын
Синиормын
@user---------
@user--------- Ай бұрын
Я ничего не понял. То есть чтобы узнать значения потерь нужно разметить вручную (!!) сотни правильных примеров?
@KlimovArtem1
@KlimovArtem1 3 жыл бұрын
Почему в конце голос сменился?..
@hottabych137
@hottabych137 2 ай бұрын
Первый голос УСТАЛ
@Felix-og7pd
@Felix-og7pd Жыл бұрын
hidden layers - key
@alexandersapronov9281
@alexandersapronov9281 6 ай бұрын
чёта я не понял с ходу, как вычисляется компоненты градиента ошибки для весов всех нейронов кроме выходного слоя видимо пойдё читать книгу Нильсена...
@andrewsed_uplisten2019
@andrewsed_uplisten2019 3 жыл бұрын
ничего не понял , но очень интересно
@iliasmirnov2938
@iliasmirnov2938 3 жыл бұрын
Хотелось бы больше переводов...
@user-fz5mh8nj1y
@user-fz5mh8nj1y Жыл бұрын
нифига не понял, но очень интересно
@maksymz6695
@maksymz6695 2 жыл бұрын
Я все еще не понял как узнать что полученный результат верный / не верный ? С чем и как сравнивать ?
@Anna_Porosenok
@Anna_Porosenok Жыл бұрын
Заранее знать правильный ответ , напимер подаёшь рупоисную ужаную единицу и там её можешь распознать как единицу и сети говоришь что на выходе долна быть единица распознана и если приходит на выходе не еденица то программа сравнивает с твоим ответом уже заложенным, понимает что ошиблась и надо менять веса, изменяет веса и вновь пропускает рукописную туже единицу через себя и потом все по кругу пока чётко или при очень большем проценте не станем понимать что это единица , которую ты сам сказал что она должна там быть.
@hottabych137
@hottabych137 2 ай бұрын
@@Anna_Porosenok Если надо определить какого-то животного, насекомого, то нужно сделать 100500 выходов?
@Anna_Porosenok
@Anna_Porosenok 2 ай бұрын
@@hottabych137 ну так то да..., но сейчас алгоритны другие , скажем так , они делят на части , разбивают потом собирают , и обратно уже суженым фильтром распознвют и тогда уже точно выйдет что надо. Хочу скать что выдумывают разные алгоритмы все сложнее и сложнее , но зато они повышают круг распознования.
@hottabych137
@hottabych137 2 ай бұрын
@@Anna_Porosenok ага, понятно. Спасибо
@Hengst.
@Hengst. 3 жыл бұрын
жаль, что версию для хлебушков не завезли)
@leonidvalentinovich5215
@leonidvalentinovich5215 3 жыл бұрын
Это она и есть ) Те, кто в универе учился, а не сидел смотря лекции Стендфорда :-)
@rrraaa9854
@rrraaa9854 2 жыл бұрын
Если изменить разрешение пикселей то сеть заново перестраивать?
@Anna_Porosenok
@Anna_Porosenok Жыл бұрын
Да, верно, но можно написать алгорит м который рисунок сам будет или уменьшать или увеличивать разрешение до нужного для нейросети ,это не так сложно.
@user-gs1li9mb6s
@user-gs1li9mb6s Жыл бұрын
@@Anna_Porosenok в любом случае, каждый последующий и, кажущийся самостоятельным и разумным, шаг сети - результат предшествующих этому шагу действий программиста (человека). ИИ на основе дискретной логики - миф) Весь фокус и вау-эффект от знакомства с ИИ зиждется на возможности железа считать с чудовищной (абстракция) скоростью. Ловкость рук - и никаких чудес.
@Anna_Porosenok
@Anna_Porosenok Жыл бұрын
@@user-gs1li9mb6s это и так понятно, можно было об этом не писать.
@user-gs1li9mb6s
@user-gs1li9mb6s Жыл бұрын
@@Anna_Porosenok судя по тому, что человечество упорно живет между черным и белым, не зная других оттенков, это понятно далеко не всем)
@Anna_Porosenok
@Anna_Porosenok Жыл бұрын
@@user-gs1li9mb6s в следующий раз в переди поста как раз вот это и пиши, что бы яснее твоя мысль была.
@user-ns9pb8ml1m
@user-ns9pb8ml1m 11 ай бұрын
17:46
@Nemo-us6is
@Nemo-us6is 2 жыл бұрын
Ну все скоро я создам свого джарвиса будет по круче алиси и сири)
@user-qe8wj3qi3l
@user-qe8wj3qi3l Жыл бұрын
Почему алгоритм все упрямо называют нейросетью? Какое-то новомодное поветрий. Хотите создать нейронную сеть - поступайте как нейроны, а не как алгоритм. Этакий нейронный алгоритм. Но для этого придется на физическом уровне создать сеть нейронов, основная особенность этой сети - она обрабатывает информацию одновременно в большом поле нейронов. А когда обработка идет в звеньях последовательно - это просто разветвленный алгоритм.
@samedy00
@samedy00 11 ай бұрын
Ну так нейроны примерно так же работают. Сигналы передаются от уровня к уровню последовательно.
@LapshinLAB
@LapshinLAB Жыл бұрын
784+1 нейрон = 785 на входе, один нейрон для смещения
@endlessvd
@endlessvd 11 ай бұрын
Sus нейрон 👀👀👀
@XeneZ_
@XeneZ_ Жыл бұрын
3:48 бедная нейросеть за что с ней так строго
@maksimsaikin3721
@maksimsaikin3721 Жыл бұрын
Для 15-летнего - это взрыв мозга
@user-gp4xy2hf1o
@user-gp4xy2hf1o 5 ай бұрын
людям младше все понятно
@user---------
@user--------- Ай бұрын
Я посмотрел наверное с пару десятков видео про Nl и прочитал несколько десятков статей, но я до сих пор ниxpeна на понял как это работает.... 😢 Я пока сделал только один вывод - дадасапиенсы либо банально не умеют объяснять предмет для широких масс, либо сами не до конца понимают. Увы.
@xxphall
@xxphall 11 күн бұрын
я не понял ваш комментарий = вы глупый. забавная логика. зачем массовому зрителю что-то объяснять? Его дело - обычное потребление результатов
@user---------
@user--------- 11 күн бұрын
@@xxphall Логика в том, что если ты не умеешь объяснять (часто равно не знаешь предмет), то не нужно объяснять, ибо ты только запутываешь людей и тратишь их время. Сквозь тысячи видео/постов го*на очень сложно найти нормальные материалы. Теперь понятно?
@xxphall
@xxphall 11 күн бұрын
@@user--------- ну это проблема либо твоя, либо авторов этих видео (скорее второе). нормальные материалы = научная литература и научные статьи, а не видео на ютубе... еще бы в википедии искал
@bald_agent_smith
@bald_agent_smith 2 жыл бұрын
Весь мир это градиентный спуск, а ты в ней функция, которая ищет правду
@endlessvd
@endlessvd 11 ай бұрын
Прям как твоя мамка
@rrraaa9854
@rrraaa9854 2 жыл бұрын
Вы зачем вводите термин как -Сеть обучается??? Если вы сами тут же говорите что закрепляете вначале алгоритм,потом настраиваете все точки пределов,(то есть формируете память,как это было раньше)а потом ваша якобы обучающаяся сеть просто -выбирает варианты Смотрю ваши материалы ,,,нихрена не поняла где нейронные сети обучаются,
@Anna_Porosenok
@Anna_Porosenok Жыл бұрын
Да нигде , тупое видео херню несут сумбурную , там олени не поняли что такое нейронные сети и запилил видео , а ут ещё перевод.
@barkalov
@barkalov 3 жыл бұрын
Посткриптум, надиктованный женским голосом, переведен гораздо хуже основного материала. Ощущение, что диктор совершенно не понимает о чем говорит, и голос не вполне не синхронизирован с тем, что происходит на экране. Основная часть перевода сильно лучше.
@user-ny8dh8bu5v
@user-ny8dh8bu5v 6 ай бұрын
вода
@hottabych137
@hottabych137 2 ай бұрын
Мдаа... видео хоть и качественное, сделано грамотно, визуализация крутая, но... НИЧЕГО НЕ ПОНЯЛ, было просто интересно. 🤣
@Ciber-FanSistems
@Ciber-FanSistems 3 жыл бұрын
нужно дописать!!! мало ходов !!! ПоЭтоу думает плохо!!!
@timbond6176
@timbond6176 5 ай бұрын
Что такое градиентный спуск мне объяснять не надо. Но боже ж ты мой - насколько запутанное и невнятное объяснение в этом ролике...Некоторые технические детали остаются вообще "за кадром".
@iamdan8203
@iamdan8203 3 жыл бұрын
Кто бы ни читал этот комментарий, знай, что *ГОСПОДЬ ИИСУС ХРИСТОС ЛЮБИТ ТЕБЯ!* Whoever reads this comment, know that *LORD JESUS CHRIST LOVES YOU!*
@rrraaa9854
@rrraaa9854 2 жыл бұрын
Боже мой...признаемся честно все эти обучения проходят в обусловленной системе,все жиждется на замкнутой платформе,о каком уме идёт речь???? О каких нейронах речь???о лампочках?где есть начальный код,то никаких обучения кроме как программиситов не может быть.
@takhirgafarov3316
@takhirgafarov3316 3 жыл бұрын
Спасибо!
@muhammadumarsotvoldiev9555
@muhammadumarsotvoldiev9555 3 жыл бұрын
Спасибо
@edgull_tlt
@edgull_tlt 2 жыл бұрын
Спасибо
[DeepLearning | видео 1] Что же такое нейронная сеть?
19:00
3Blue1Brown translated by Sciberia
Рет қаралды 764 М.
LA FINE 😂😂😂 @arnaldomangini
00:26
Giuseppe Barbuto
Рет қаралды 19 МЛН
Дифференциальные формы. Ковекторы.
10:28
Суть матанализа, Глава 1
16:00
3Blue1Brown Русский
Рет қаралды 455 М.
Теория групп и 196883-мерный монстр
21:49
3Blue1Brown translated by Sciberia
Рет қаралды 337 М.
Лекция 2.4: Градиентный спуск.
12:01
Deep Learning School
Рет қаралды 19 М.
Geometric Meaning of the Gradient Vector
14:51
Dr. Trefor Bazett
Рет қаралды 167 М.
[Bitcoin | видео 1] Что значит владеть биткоином?
25:11
3Blue1Brown translated by Sciberia
Рет қаралды 32 М.