Занятие 5. Лекция. Attention, transformers! Переломный момент в истории NLP

  Рет қаралды 4,888

A Dive into Natural Language Processing

A Dive into Natural Language Processing

2 жыл бұрын

Github курса с описанием и полезными ссылками:
github.com/averkij/mstu-nlp-c...
В чем состоит механизм внимания. Как устроена архитектура трансформеров, как работает слой Self-Attention в декодере и энкодере.

Пікірлер: 4
@kodiSong
@kodiSong 25 күн бұрын
10:56-12:40 "и обучаться она будет следующим образом". Приготовился, направил весь свой attention на слушание, руки потёр, вот сейчас пойму... ага. Вы поняли что он сказал?
@user-kx1xg1ox3r
@user-kx1xg1ox3r 2 ай бұрын
Вот бы эта лекция лет так на 5 раньше вышла) (как я понимаю сама архитектура была опубликована в 2017) Я когда диплом писал, вообще ничего подобного не слышал, хотя скорее всего из-за того что я не изучал языковые модели, а только семантическую сегментацию изображений. Эх, грустно. Лекция топ!
@user-mw8un4ym1h
@user-mw8un4ym1h Ай бұрын
Да
@Ermac86
@Ermac86 Ай бұрын
Очень плохо объясняете, не понятно не доступно. дизлайк!
Занятие 6. Семинар. Знакомимся с PyTorch и PyTorch Lightning.
47:01
A Dive into Natural Language Processing
Рет қаралды 1,2 М.
Лекция. Внимание (Attention)
38:51
Deep Learning School
Рет қаралды 14 М.
🌊Насколько Глубокий Океан ? #shorts
00:42
Smart Sigma Kid #funny #sigma #comedy
00:25
CRAZY GREAPA
Рет қаралды 8 МЛН
⬅️🤔➡️
00:31
Celine Dept
Рет қаралды 52 МЛН
Основы глубинного обучения, лекция 11 - механизм внимания и трансформеры
1:02:43
Лекция. Механизм внимания (Attention)
30:04
Deep Learning School
Рет қаралды 3 М.
Transformers, explained: Understand the model behind GPT, BERT, and T5
9:11
Как работает ChatGPT: объясняем нейросети просто
39:04
RationalAnswer | Павел Комаровский
Рет қаралды 1,2 МЛН