초보개발자의 성장블로그

1. Introduction시계열 예측은 에너지 소비, 교통 및 경제 계획, 날씨 예보, 질병 전파 예측 등 다양한 실제 응용 분야에서 중요한 역할을 합니다. 이러한 응용 분야에서는 장기적인 예측이 특히 중요한데, 이는 장기 계획과 조기 경고에 필수적이기 때문입니다. Transformer 기반 모델은 시계열 데이터의 장기 의존성을 모델링하는 데 강력한 성능을 보이지만, 복잡한 장기 패턴과 계산 효율성 문제로 인해 기존 모델들은 한계를 가집니다. 이 논문에서는 Auto-correlation, Decomposition을 이용해서 좋은 성능을 이끌어 냈습니다.2. Related workModels for Time Series Forecasting시계열 예측을 위한 다양한 모델들이 개발되었습니다. ARIMA 모..

Introduction시계열 예측은 다양한 도메인에서 중요한 역할을 합니다. 특히, 긴 시퀀스 시계열 예측(LSTF)은 모델의 높은 예측 능력을 요구합니다. Transformer 모델은 긴 종속성을 포착하는 데 우수한 성능을 보이지만, 계산 복잡도와 메모리 사용량이 커 LSTF에 적용하는 데 어려움이 있습니다. 본 논문에서는 이러한 문제를 해결하기 위해 Informer를 제안합니다.> 여기서 저자는 Long sequence에 대한 정의를 48개 이상의 출력물을 내는 것을 의미한다고 정의하며 시작합니다. 이는 LSTM에서 MSE의 값이 늘고, Inference speed가 급격히 줄어드는 기준으로 설정한 것임을 확인할 수 있습니다.Transformer의 한계Vanilla Transformer는 세 가지 주..

1. Introduction시계열 예측은 자원 관리와 의사 결정을 돕기 위해 중요한 역할을 합니다. 전통적인 시계열 예측 모델인 상태 공간 모델(SSM)과 자기회귀(AR) 모델은 각 시계열을 독립적으로 적합시키도록 설계되었으며, 전문가의 수동 선택이 필요합니다. 이로 인해 대규모 시계열 예측 작업에 적용하기 어렵습니다.이를 해결하기 위해 심층 신경망(DNN)이 대안 솔루션으로 제안되었습니다. 특히, 순환 신경망(RNN)은 시계열을 자기회귀 방식으로 모델링하는 데 사용됩니다. 그러나 RNN은 기울기 소실 및 폭발 문제로 인해 훈련하기가 어렵습니다. Transformer는 주의 메커니즘을 활용하여 시퀀스를 처리하는 새로운 아키텍처로, 장기 종속성을 포착하는 데 더 적합할 수 있습니다. 그러나 Transfor..