[ 발표자 ]
고려대학교 DSBA 연구실 박사과정 최희정
[ 발표 요약 ]
1. Topic
A Time Series Is Worth 64 Words: Long-Term Forecasting With Transformers
2. Overview
이번 세미나 시간에는 ICLR 2023에 accept 된 long-term time series forecasting(LTSF) 방법론 PatchTST를 공유하고자 한다. 최근 “Are Transformers Effective for Time Series Forecasting?” 논문에서 매우 간단한 linear 모델이 다양한 Transformer 기반 LTSF 모델들의 성능을 능가하면서 LTSF에서 Transformer의 효과에 대한 의문이 제기되었다. 본 논문에서는 channel-independence patch time series Transformer (Patch TST)를 제안하여 기존 연구 결과와 다르게 Transformer가 LTSF에 효과적이라는 것을 증명하였다. 세부적으로 PatchTST는 sub-series level patch를 사용하여 Trasformer에 locality를 반영하고 메모리 사용량을 줄였으며, 각 변수를 독립적으로 학습하는 channel-independence 세팅을 사용하여 Transformer의 연산량을 줄였다.
3. 발표자료
dsba.korea.ac.kr/seminar/?uid=...
4. 참고문헌
[1] A Time Series Is Worth 64 Words: Long-Term Forecasting With Transformers (ICLR 2023)
[2] Are Transformers Effective for Time Series Forecasting (AAAI 2023)