Un'onda cerebrale codifica mille token: modellare le interazioni neurali inter-corticali per un riconoscimento efficace delle emozioni basato su EEG
A Brain Wave Encodes a Thousand Tokens: Modeling Inter-Cortical Neural Interactions for Effective EEG-based Emotion Recognition
November 17, 2025
Autori: Nilay Kumar, Priyansh Bhandari, G. Maragatham
cs.AI
Abstract
Le emozioni umane sono difficili da esprimere a parole e spesso si astraggono nel processo; tuttavia, i segnali elettroencefalografici (EEG) possono offrire una lente più diretta sull'attività cerebrale emotiva. Studi recenti dimostrano che i modelli di deep learning possono elaborare questi segnali per effettuare il riconoscimento delle emozioni con elevata accuratezza. Tuttavia, molti approcci esistenti trascurano l'interazione dinamica tra distinte regioni cerebrali, che può essere cruciale per comprendere come le emozioni si manifestano e si evolvono nel tempo, potenzialmente contribuendo a un riconoscimento emotivo più preciso. Per affrontare questo problema, proponiamo RBTransformer, un'architettura di rete neurale basata su Transformer che modella le dinamiche neurali inter-corticali del cervello nello spazio latente per catturare meglio le interazioni neurali strutturate ai fini di un efficace riconoscimento delle emozioni basato su EEG. In primo luogo, i segnali EEG vengono convertiti in token di Entropia Differenziale di Banda (BDE), che vengono poi elaborati tramite incorporamenti di Identità dell'Elettrodo per preservare la provenienza spaziale. Questi token vengono processati attraverso successivi blocchi di attenzione multi-testa inter-corticale che costruiscono una matrice di attenzione elettrodo x elettrodo, consentendo al modello di apprendere le dipendenze neurali inter-corticali. Le caratteristiche risultanti vengono quindi passate attraverso un modulo di classificazione per ottenere la previsione finale. Abbiamo condotto esperimenti estesi, specificamente in contesti dipendenti dal soggetto, sui dataset SEED, DEAP e DREAMER, lungo tutte e tre le dimensioni (Valenza, Attivazione e Dominanza per DEAP e DREAMER), sia in configurazioni di classificazione binaria che multi-classe. I risultati dimostrano che il RBTransformer proposto supera tutti i precedenti metodi allo stato dell'arte su tutti e tre i dataset, lungo tutte e tre le dimensioni in entrambe le configurazioni di classificazione. Il codice sorgente è disponibile all'indirizzo: https://github.com/nnilayy/RBTransformer.
English
Human emotions are difficult to convey through words and are often abstracted in the process; however, electroencephalogram (EEG) signals can offer a more direct lens into emotional brain activity. Recent studies show that deep learning models can process these signals to perform emotion recognition with high accuracy. However, many existing approaches overlook the dynamic interplay between distinct brain regions, which can be crucial to understanding how emotions unfold and evolve over time, potentially aiding in more accurate emotion recognition. To address this, we propose RBTransformer, a Transformer-based neural network architecture that models inter-cortical neural dynamics of the brain in latent space to better capture structured neural interactions for effective EEG-based emotion recognition. First, the EEG signals are converted into Band Differential Entropy (BDE) tokens, which are then passed through Electrode Identity embeddings to retain spatial provenance. These tokens are processed through successive inter-cortical multi-head attention blocks that construct an electrode x electrode attention matrix, allowing the model to learn the inter-cortical neural dependencies. The resulting features are then passed through a classification head to obtain the final prediction. We conducted extensive experiments, specifically under subject-dependent settings, on the SEED, DEAP, and DREAMER datasets, over all three dimensions, Valence, Arousal, and Dominance (for DEAP and DREAMER), under both binary and multi-class classification settings. The results demonstrate that the proposed RBTransformer outperforms all previous state-of-the-art methods across all three datasets, over all three dimensions under both classification settings. The source code is available at: https://github.com/nnilayy/RBTransformer.