AMRD: 경량 음성 감정 인식을 위한 적응적 다중 교사 관계적 증류

초록

온디바이스 음성 감정 인식(On-device Speech Emotion Recognition, SER)은 실시간 응용 분야에서 중요하지만, 감정 인식에 탁월한 대규모 자기지도(self-supervised) 모델은 엣지 디바이스에서 사용하기에는 비용이 너무 높다. 다중 교사 지식 증류(multi-teacher knowledge distillation)는 이를 경량 학생 모델로 압축할 수 있으나, 두 가지 과제가 남아 있다: 교사의 신뢰도가 배치(batch)마다 달라진다는 점과 로짓 수준 증류가 샘플 간 관계 구조를 무시한다는 점이다. 본 논문에서는 두 문제를 모두 해결하기 위해 적응형 다중 교사 관계적 증류(Adaptive Multi-teacher Relational Distillation, AMRD)를 제안한다. 각 교사의 로짓 유사도 행렬에 one-class SVM을 적용하여 더 일관된 교사에게 가중치를 부여하는 배치별 가중치를 할당한다. 관계적 증류 손실(relational distillation loss)은 교사와 학생 간 유사도 행렬을 정렬함으로써 로짓 정합만으로는 포착하기 어려운 구조적 정보를 학습한다. IEMOCAP 및 CREMA-D 데이터셋에서 네 가지 학생 아키텍처를 대상으로 한 실험 결과, AMRD는 대부분의 설정에서 단일 교사 증류 기준선(baseline)보다 우수한 성능을 보였으며, 제거 실험을 통해 두 구성 요소가 상호 보완적인 성능 향상을 제공함을 확인하였다.

English

On-device speech emotion recognition (SER) is critical for real-time applications, yet large self-supervised models that excel at SER are too costly for edge devices. Multi-teacher knowledge distillation can compress them into a lightweight student, but two challenges remain: teacher reliability varies across batches, and logit-level distillation ignores inter-sample relational structure. We propose Adaptive Multi-teacher Relational Distillation (AMRD) to address both. A one-class SVM on each teacher's logit similarity matrix assigns per-batch weights favoring more coherent teachers. A relational distillation loss aligns teacher and student similarity matrices, capturing structure that logit matching misses. On IEMOCAP and CREMA-D datasets across four student architectures, AMRD outperforms single-teacher distillation baselines in most settings, and ablations confirm both components yield complementary gains.