이 발표는 시계열 데이터를 이산적인 토큰으로 변환하여, 기존 대형 언어 모델(LLM) 아키텍처의 구조 변경 없이 시계열 예측에 활용하는 범용 프레임워크인 ‘크로노스(Chronos)’를 소개하고 그 성능과 한계를 분석합니다.

연구 배경 및 기존 모델의 한계

• 범용성 부족: 기존 통계적 시계열 모델 및 딥러닝 모델은 특정 데이터세트에 국한되어 학습 및 예측 수행
• 기존 LLM 적용의 한계: 프롬프트 엔지니어링이나 파인튜닝 방식은 데이터세트별 템플릿 요구, 높은 추론 비용, 도메인 종속성 발생
• 크로노스 제안: 프롬프팅이나 파인튜닝 대신 시계열을 토큰화하여 대규모 코퍼스로 언어 모델을 직접 학습하는 방식 채택

크로노스 핵심 설계 및 파이프라인 (토큰화 및 학습)

• 스케일링(Scaling): 0값의 의미(예: 판매량 0) 보존을 위해 평균값을 0으로 고정하는 민 스케일링(Mean Scaling) 적용
• 양자화(Quantization): 스케일링된 실수값을 균등 분할(Uniform Binning)하여 4,096개 사전 크기의 이산적 토큰으로 매핑
• 특수 토큰: 길이 맞춤 및 결측치 대체를 위한 PAD 토큰, 시계열 경계 구분을 위한 EOS 토큰 도입
• 학습 방식: 기존 언어 모델과 동일하게 다음 토큰을 자기 회기적(Auto-regressive)으로 예측하며 크로스 엔트로피 손실 함수 활용
• 모델 구조: 별도의 시계열 맞춤형 아키텍처 변경 없이 T5(인코더-디코더) 및 GPT-2(디코더 전용) 구조 그대로 활용

데이터 증강 및 추론(Inference)

• TS 믹스업(Mixup): 여러 시계열 데이터를 볼록 결합(Convex Combination)하여 원본 분포 손실 없이 혼합하는 증강 기법
• 커널 신스(KernelSynth): 가우시안 프로세스의 다양한 커널을 무작위 합성하여 새로운 시계열 데이터 생성
• 추론 과정: 자기 회기적 샘플링 후 역양자화(빈의 중심값 활용) 및 역스케일링을 거쳐 최종 예측 분포(통계량) 도출

성능 평가(WQL, MASE) 및 어블레이션 결과

• 내부 검증(In-domain): 기존 통계 모델 및 딥러닝 베이스라인을 압도하는 최상위 예측 성능 달성
• 제로샷(Zero-shot) 평가: 훈련에 포함되지 않은 외부 데이터에서도 상위권 모델과 대등한 강력한 일반화 성능 확인
• 스케일링 법칙: 모델 크기가 커질수록 성능이 향상되나 추론 속도 및 비용과의 트레이드오프 고려 필요
• 가중치 초기화: 사전 학습된 언어 모델 가중치 사용보다 무작위 초기화(Random Initialization)가 더 효율적임 확인

한계점 및 향후 방향

• 데이터 호환성 한계: 단일 변량 시계열 및 균일한 샘플링 데이터로 한정되어 다변량 및 불규칙 샘플링 미지원
• 추세 예측(Extrapolation) 취약: 정해진 양자화 사전 범위를 벗어나는 강력한 추세값 예측에 한계 존재
• 추론 지연: 전통적인 시계열 모델 대비 모델 크기가 방대하여 추론 연산 지연 발생
• 연구적 의의: 도메인 특화 구조 개발 대신, 데이터 형태 변환(토큰화)을 통해 타 분야의 우수 모델(LLM)을 유연하게 차용할 수 있는 방법론 제시