Une onde cérébrale encode mille tokens : Modélisation des interactions neuronales inter-corticales pour une reconnaissance efficace des émotions basée sur l'EEG

A Brain Wave Encodes a Thousand Tokens: Modeling Inter-Cortical Neural Interactions for Effective EEG-based Emotion Recognition

November 17, 2025

papers.authors: Nilay Kumar, Priyansh Bhandari, G. Maragatham

cs.AI

papers.abstract

Les émotions humaines sont difficiles à transmettre par des mots et sont souvent abstraites lors de ce processus ; cependant, les signaux électroencéphalographiques (EEG) peuvent offrir une perspective plus directe sur l'activité cérébrale émotionnelle. Des études récentes montrent que les modèles d'apprentissage profond peuvent traiter ces signaux pour réaliser une reconnaissance des émotions avec une grande précision. Cependant, de nombreuses approches existantes négligent l'interaction dynamique entre les différentes régions cérébrales, qui peut être cruciale pour comprendre comment les émotions se déploient et évoluent dans le temps, ce qui pourrait contribuer à une reconnaissance plus précise. Pour remédier à cela, nous proposons RBTransformer, une architecture de réseau neuronal basée sur le Transformer qui modélise la dynamique neuronale inter-corticale du cerveau dans un espace latent afin de mieux capturer les interactions neuronales structurées pour une reconnaissance efficace des émotions basée sur l'EEG. Premièrement, les signaux EEG sont convertis en tokens d'entropie différentielle par bande (BDE), qui sont ensuite traités par des plongements d'identité d'électrode pour préserver la provenance spatiale. Ces tokens sont traités par des blocs d'attention multi-têtes inter-corticaux successifs qui construisent une matrice d'attention électrode x électrode, permettant au modèle d'apprendre les dépendances neuronales inter-corticales. Les caractéristiques résultantes sont ensuite traitées par une tête de classification pour obtenir la prédiction finale. Nous avons mené des expériences approfondies, spécifiquement dans des conditions dépendantes du sujet, sur les jeux de données SEED, DEAP et DREAMER, sur les trois dimensions (Valence, Arousal et Dominance pour DEAP et DREAMER), dans des cadres de classification binaire et multi-classes. Les résultats démontrent que le RBTransformer proposé surpasse toutes les méthodes antérieures de l'état de l'art sur les trois jeux de données, pour les trois dimensions et dans les deux cadres de classification. Le code source est disponible à l'adresse : https://github.com/nnilayy/RBTransformer.

English

Human emotions are difficult to convey through words and are often abstracted in the process; however, electroencephalogram (EEG) signals can offer a more direct lens into emotional brain activity. Recent studies show that deep learning models can process these signals to perform emotion recognition with high accuracy. However, many existing approaches overlook the dynamic interplay between distinct brain regions, which can be crucial to understanding how emotions unfold and evolve over time, potentially aiding in more accurate emotion recognition. To address this, we propose RBTransformer, a Transformer-based neural network architecture that models inter-cortical neural dynamics of the brain in latent space to better capture structured neural interactions for effective EEG-based emotion recognition. First, the EEG signals are converted into Band Differential Entropy (BDE) tokens, which are then passed through Electrode Identity embeddings to retain spatial provenance. These tokens are processed through successive inter-cortical multi-head attention blocks that construct an electrode x electrode attention matrix, allowing the model to learn the inter-cortical neural dependencies. The resulting features are then passed through a classification head to obtain the final prediction. We conducted extensive experiments, specifically under subject-dependent settings, on the SEED, DEAP, and DREAMER datasets, over all three dimensions, Valence, Arousal, and Dominance (for DEAP and DREAMER), under both binary and multi-class classification settings. The results demonstrate that the proposed RBTransformer outperforms all previous state-of-the-art methods across all three datasets, over all three dimensions under both classification settings. The source code is available at: https://github.com/nnilayy/RBTransformer.