хах, тут скорее во всей формуле на слайде 9:50 в знаменателе вместо p(z) должно быть p(z | x, phi) . На 11:04 ошибок нет. Не важно q(z | x, phi) или q(z | phi, x). Минус в лоссе тоже верный, мы перевернули дробь под логарифмом, чтобы получить D_KL - это дает минус.

и ремень и туфли

А вы с первого видео смотрите?

kzfaq.info/get/bejne/acdxiNuglq2Vm6c.html

пересмотри видео через пару дней, потом будет легче

Грубо говоря, VQ-VAE - это про то, как апроксимировать довольно гибкие, сложные непрерывные распределения дискретными точками, которые более легковестные. То есть эти N точек (вектора из codebook'а) - это центроиды каких-то уплотнений, кластеров из реального распределения. Насколько я понял, тут обычный лосс (как MSE из AE) разбивается на 2 лосса - энкодера и декодера. Мы хотим, чтобы вектора из энкодера плотно группировались у N точек, которыми мы хотим апроксимировать пространство (это encoder loss, от которого текут градиенты по всей CNN энкодера) и мы хотим, чтобы восстановленное изображение из сжатого латентного пространства было максимально похожим на входное (это reconstruction loss, от которого текут градиенты по всей CNN декодера). Ну и т.к. мы инициализировали эти N точек рандомно, то с чего вообще мы взяли, что с помощью их вообще можно что-то нормально апроксимировать? Давайте и их двигать, но по чуть-чуть (добавив коэффициент бэтта), чтобы модель успевала сходиться. А то получится, что центроиды двигаются в сторону итоговых точек энкодера, а эти точки уже сместились в сторону центроидов, оказавшись в другом месте. В итоге так и будут они в противофазе туда сюда прыгать. Резюмируя еще раз: Есть реальное распределение в латентном (сжатом) пространстве, в VAE мы его апроксимировали композицией нормальных распределений (это как разложение функции в ряд Фурье на 100 синусод или в ряд Тейлора), а потом в VQ-VAE мы это распределение еще раз упростили до набора центроидов локальных уплотнений плотности.

Если что-то не понятно еще, то пиши)

Можно, так и делают, на самом деле. Здесь так, чтобы показать идею перехода от полносвязного слоя к RNN. Но вы правы, что стоило бы добавить это в лекцию

Очень 😢

как минимум потому, что one-hot encoding требует, чтобы векторы были длины количества элементов. Т.е. если у вас в последовательности n токенов, то чтобы закодировать их места one-hot векторами, нужны векторы длины минимум n. А мы хотим, чтобы position encodings суммировались с нашими векторами эмбеддингов

Почему вы решили, что вектор внимания содержит 4 значения? Это не так. Размерности векторов внимания и эмбеддинга одинаковые.

@@user-jw1rg1tg9g спасибо, я наверно не правильно понял. Надо пересмотреть ролик