No video

[DMQA Open Seminar] Supervised Contrastive Learning

  Рет қаралды 4,501

‍김성범[ 교수 / 산업경영공학부 ]

‍김성범[ 교수 / 산업경영공학부 ]

2 жыл бұрын

표현학습(representation learning)은 주로 사전학습 단계에서 데이터 특징을 잘 추출하는 목적으로 학습하는 과정을 말한다. 자가지도학습(self-supervised learning) 기법을 이용한 대조학습(contrastive learning)이 대표적이며, 데이터 증강기법과 함께 사용되어 예측성능 향상을 이끌어내고 있다. 하지만 주로 레이블링 된 데이터가 부족한 상황을 극복하기 위한 방법으로 사용되는데, 이는 레이블이 층분한 데이터에서 효과적인 표현학습 성능을 기대하기 어렵다. 이를 보완하기 위해 최근 레이블 정보를 전부 활용하는 지도대조학습(supervised contrastive learning) 기법에 고안됐다. 본 세미나에서는 supervised contrastive learning 기법을 이미지와 텍스트 데이터에 적용하여 예측성능 향상을 이끌어 낸 연구를 소개한다.
참고문헌
(1) Khosla, P., Teterwak, P., Wang, C., Sarna, A., Tian, Y., Isola, P., … & Krishnan, D. (2020). Supervised contrastive learning. arXiv preprint arXiv:2004.11362.
(2) Gunel, B., Du, J., Conneau, A., & Stoyanov, V. (2020). Supervised contrastive learning for pre-trained language model fine-tuning. arXiv preprint arXiv:2011.01403.

Пікірлер
[Open DMQA Seminar] Representation Learning for Time-Series Data
35:03
‍김성범[ 교수 / 산업경영공학부 ]
Рет қаралды 6 М.
[DMQA Open Seminar] Contrastive Learning
16:41
‍김성범[ 교수 / 산업경영공학부 ]
Рет қаралды 8 М.
👨‍🔧📐
00:43
Kan Andrey
Рет қаралды 10 МЛН
Smart Sigma Kid #funny #sigma #comedy
00:40
CRAZY GREAPA
Рет қаралды 38 МЛН
Bony Just Wants To Take A Shower #animation
00:10
GREEN MAX
Рет қаралды 7 МЛН
[DMQA Open Seminar] Multimodal Representation Learning
32:19
‍김성범[ 교수 / 산업경영공학부 ]
Рет қаралды 3,9 М.
Phillip Isola -- When and Why Does Contrastive Learing Work?
21:11
Learning with Limited and Imperfect Data
Рет қаралды 6 М.
[DMQA Open Seminar] Bootstrap Your Own Latent (BYOL)
31:09
‍김성범[ 교수 / 산업경영공학부 ]
Рет қаралды 2,8 М.
Supervised Contrastive Learning
30:08
Yannic Kilcher
Рет қаралды 58 М.
[Paper Review] EfficientAD: Accurate Visual Anomaly Detection at Millisecond-Level Latencies
33:42
고려대학교 산업경영공학부 DSBA 연구실
Рет қаралды 2 М.
The Attention Mechanism in Large Language Models
21:02
Serrano.Academy
Рет қаралды 90 М.
[DMQA Open Seminar] Introduction to Knowledge Distillation
20:20
‍김성범[ 교수 / 산업경영공학부 ]
Рет қаралды 8 М.
👨‍🔧📐
00:43
Kan Andrey
Рет қаралды 10 МЛН