뇌파 하나에 천 개의 토큰을 담다: 효과적인 EEG 기반 감정 인식을 위한 대뇌 피질 간 신경 상호작용 모델링

A Brain Wave Encodes a Thousand Tokens: Modeling Inter-Cortical Neural Interactions for Effective EEG-based Emotion Recognition

November 17, 2025

저자: Nilay Kumar, Priyansh Bhandari, G. Maragatham

cs.AI

초록

인간의 감정은 언어로 전달하기 어려우며 과정에서 종종 추상화되지만, 뇌전도(EEG) 신호는 감정적 뇌 활동을 더 직접적으로 들여다볼 수 있는 창을 제공한다. 최근 연구에 따르면 딥러닝 모델이 이러한 신호를 처리하여 높은 정확도로 감정 인식을 수행할 수 있는 것으로 나타났다. 그러나 기존의 많은 접근법은 서로 다른 뇌 영역 간의 역동적 상호작용을 간과하는데, 이는 감정이 시간에 따라 어떻게 전개되고 변화하는지 이해하는 데 핵심적일 수 있으며, 더 정확한 감정 인식에 도움을 줄 수 있다. 이를 해결하기 위해 우리는 잠재 공간에서 뇌의 피질 간 신경 역학을 모델링하여 효과적인 EEG 기반 감정 인식을 위한 구조화된 신경 상호작용을 더 잘 포착하는 Transformer 기반 신경망 아키텍처인 RBTransformer를 제안한다. 먼저 EEG 신호를 Band Differential Entropy(BDE) 토큰으로 변환한 후, Electrode Identity 임베딩을 통해 공간적 출처 정보를 보존한다. 이러한 토큰은 연속적인 피질 간 다중 헤드 어텐션 블록을 통해 처리되어 전극 x 전극 어텐션 행렬을 구성함으로써 모델이 피질 간 신경 의존성을 학습할 수 있도록 한다. 그 결과로 나온 특징은 분류 헤드를 통과하여 최종 예측값을 얻는다. 우리는 SEED, DEAP, DREAMER 데이터셋에 대해 주체 종속 설정 하에서 특히 모든 세 차원(Valence, Arousal, Dominance - DEAP 및 DREAMER의 경우)에 걸쳐 이진 분류 및 다중 클래스 분류 설정 모두에서 광범위한 실험을 수행했다. 결과는 제안된 RBTransformer가 세 데이터셋 모두에서, 모든 세 차원에 대해 두 분류 설정 하에서 기존의 모든 최첨단 방법들을 능가함을 보여준다. 소스 코드는 https://github.com/nnilayy/RBTransformer에서 확인할 수 있다.

English

Human emotions are difficult to convey through words and are often abstracted in the process; however, electroencephalogram (EEG) signals can offer a more direct lens into emotional brain activity. Recent studies show that deep learning models can process these signals to perform emotion recognition with high accuracy. However, many existing approaches overlook the dynamic interplay between distinct brain regions, which can be crucial to understanding how emotions unfold and evolve over time, potentially aiding in more accurate emotion recognition. To address this, we propose RBTransformer, a Transformer-based neural network architecture that models inter-cortical neural dynamics of the brain in latent space to better capture structured neural interactions for effective EEG-based emotion recognition. First, the EEG signals are converted into Band Differential Entropy (BDE) tokens, which are then passed through Electrode Identity embeddings to retain spatial provenance. These tokens are processed through successive inter-cortical multi-head attention blocks that construct an electrode x electrode attention matrix, allowing the model to learn the inter-cortical neural dependencies. The resulting features are then passed through a classification head to obtain the final prediction. We conducted extensive experiments, specifically under subject-dependent settings, on the SEED, DEAP, and DREAMER datasets, over all three dimensions, Valence, Arousal, and Dominance (for DEAP and DREAMER), under both binary and multi-class classification settings. The results demonstrate that the proposed RBTransformer outperforms all previous state-of-the-art methods across all three datasets, over all three dimensions under both classification settings. The source code is available at: https://github.com/nnilayy/RBTransformer.