이 발표는 누락된 데이터(Missing Modality)와 비동기적 생체 반응(Asynchrony) 문제를 해결하기 위해, 다중 모달리티 데이터(EEG, 얼굴, 말초 생리 신호)를 계층적 혼합 전문가(Hierarchical MoE) 구조로 처리하여 감정 인식 성능을 극대화한 프레임워크를 제시합니다.

MER(다중 모달 감정 인식) 문제 정의

• 모달리티 누락 문제: 센서 고장이나 통신 오류로 일부 데이터가 누락되는 실제 환경 반영 부족
• 기존 제로 패딩의 한계: 결측치를 0으로 채울 경우 모델이 실제 0값과 결측치를 구분하지 못하는 문제 발생
• 생체 반응의 비동기성: 단일 감정 자극에 대한 뇌파, 표정, 심박수 등의 반응 시점이 서로 달라 발생하는 시간 불일치

계층적 MoE(Hierarchical MoE) 핵심 설계

• 모달리티 특화 인코더: EEG, 얼굴 영상, 말초 생리 신호(PPS) 등 각 데이터 성질에 맞춘 개별 인코더(EEGNet 등) 적용
• 크로스 모달 얼라인먼트: 물리적인 시간축 이동 대신 대조 학습(Contrastive Learning)을 통해 동일 반응에 대한 레이턴트 표현 정렬
• 모달리티 전문가 뱅크: 소프트 라우팅(Soft Routing)을 적용하여 누락된 모달리티의 가중치를 0으로 비활성화하는 방식으로 결측치 유연하게 대응
• 감정 전문가 뱅크: DA 라우터를 통해 입력과 출력의 유사도를 계산하여, 각 전문가가 특정 감정 패턴에 자연스럽게 특화되도록 학습

다운스트림 성능 및 실험 결과

• 연속적 감정 인식: CCC, PCC, MAE 지표에서 기존 모델(레이트 퓨전, 타코포머 등) 대비 높은 일치도 및 패턴 추적 성능 달성
• 이진 감정 분류: 각성 상태 및 긍정/부정 판단에서 기존 모델 대비 정확도 및 F1 스코어 대폭 향상
• 누락 데이터에 대한 강건성: 모달리티가 30~40% 누락된 상황에서도 기존 방법론 대비 성능 감소폭 최소화 확인
• 어블레이션 연구: 감정 전문가 뱅크 모듈 제거 시 성능 하락폭이 가장 커, 해당 구조의 핵심적 중요성 입증

한계점 및 향후 과제

• 연산 복잡도 증가: 두 계층에 걸친 소프트 라우팅 MoE 구조 도입으로 인한 계산 및 연산량 상승
• 실제 환경 검증 부족: 통제된 실험실 환경 데이터(DEAP, DREAMER)에 국한되어 실제 환경 노이즈 대응 검증 부재
• 물리적 시간축 보정 부재: 비동기성 문제를 표현(Representation) 공간에서만 처리하고 실제 발생 시간축을 직접 추정하여 맞추지 않음
• 해석 가능성 제약: 감정 전문가의 역할이 사전 지정이 아닌 학습을 통해 암묵적으로 결정되어, 개별 전문가의 명확한 역할 해석 곤란