Лекция. Трансформеры. Self-Attention
Рет қаралды 10,183
Күн бұрынЗанятие ведёт Антон Астахов.
Ссылка на вторую часть: • Лекция. Трансформеры. ...
---
Deep Learning School при ФПМИ МФТИ
Каждые полгода мы запускаем новую итерацию нашего двухсеместрового практического онлайн-курса по глубокому обучению. Наборы проводятся в августе-сентябре и январе-феврале.
За нашими новостями можно следить здесь:
Наш канал в TG: t.me/deep_learning_school_news
Официальный сайт: dls.samcs.ru/ru/
Официальная группа ВК: dlschool_mipt
Github-репозиторий: github.com/DLSchool/dlschool
Поддержать канал можно на Boosty: boosty.to/deeplearningschool
ФПМИ МФТИ
Официальный сайт: mipt.ru/education/departments...
Магистратура: mipt.ru/education/departments...
Онлайн-магистратура "Современная комбинаторика": omscmipt.ru/
Онлайн-магистратура "Цифровая экономика": digec.online/
Лаборатории ФПМИ: mipt.ru/education/departments...
---
Навигация:
0:00 Вступление
5:31 Encoder Side
15:27 Self-Attention
48:30 Multi-Head
---
@Dronzord 11 ай бұрын
Спасибо большое за разъяснение механизма самовнимания в подробностях! Не знаю, что другим не понравилось, но мне показалось очень полезным и понятным объяснение.
@shandi1241 Жыл бұрын
накнец у Антона получилось хорошо рассказать, держу пари ему нравится эта тема
@user--------- Жыл бұрын
Я нихрена не понял.
@shandi1241 Жыл бұрын
@@user--------- ничем не могу помочь, как говорится "виноваты обои"
@user--------- Жыл бұрын
@@shandi1241 да не обои виноваты, они то причём здесь? Обои и обои, висят себе, глаз радуют. А вот мальчик, который зачем-то решил преподавать, не умеет этого делать.
@uolkopalko 2 жыл бұрын
Побудем душными типами) Позабавило
@im_buddha Жыл бұрын
Антон, не надо заниматься тем, что не нравиться. Берегите уважение к себе. Вам не нравится учить людей, но вероятно нравятся нейронные сети. надо найти своем место в этой области
@user--------- Жыл бұрын
Тип того, зачем учить если не можешь? Если хочешь, научись это делать, а самое главное - разберись сам в предмете.
@DmitryMikutsky 7 ай бұрын
❤❤❤❤❤ Дивлюсь тебе! Пиши відоси й надалі! Дякую!
@Martin-tu4er 3 жыл бұрын
а ссылку на презентацию можно?
@Dronzord 11 ай бұрын
На моменте 43:20 у А с крышкой размерность (3, L), а не (L, L)
@serjmollecule Жыл бұрын
Вай баля хорошо сделал
@user-qo3uy5zp2r 3 жыл бұрын
прикольно блин
@dimitriifromomsk 2 жыл бұрын
Угм? - Слово паразит
@vladislavstankov1796 2 жыл бұрын
душный
@IExSet Жыл бұрын
Чё блин за А итое, откуда оно взялось ???? Ещё и А-итое с крышкой !!! Всё через задницу 🙂 Совершенно не понятно как это работает целиком, и смысл этих вычислений в плане абстракции, что делает Трансформер ???? Даже размерность не уменьшается, а если несколько энкодеров, то как они работают? Куча лекторов, но таланта к объяснениям нет ни у одного, друг у друга списывают одни и те же тупые слайды показывающие мелкие части пазла максимально бессвязно между собой :-(
Цифровая кафедра Сеченовского Университета
Рет қаралды 7 М.
Igor Kotenkov
Рет қаралды 50 М.
Deep Learning School
Рет қаралды 4,5 М.
Deep Learning School
Рет қаралды 18 М.