Een hersengolf codeert duizend tokens: Modellering van inter-corticale neurale interacties voor effectieve EEG-gebaseerde emotieherkenning

A Brain Wave Encodes a Thousand Tokens: Modeling Inter-Cortical Neural Interactions for Effective EEG-based Emotion Recognition

November 17, 2025

Auteurs: Nilay Kumar, Priyansh Bhandari, G. Maragatham

cs.AI

Samenvatting

Menselijke emoties zijn moeilijk in woorden uit te drukken en worden in het proces vaak geabstraheerd; elektro-encefalogram (EEG)-signalen kunnen daarentegen een directere inkijk bieden in emotionele hersenactiviteit. Recente studies tonen aan dat deep learning-modellen deze signalen kunnen verwerken om emotieherkenning met hoge nauwkeurigheid uit te voeren. Veel bestaande methoden negeren echter de dynamische wisselwerking tussen verschillende hersengebieden, die cruciaal kan zijn om te begrijpen hoe emoties zich in de tijd ontvouwen en evolueren, wat mogelijk kan bijdragen aan een nauwkeurigere emotieherkenning. Om dit aan te pakken, stellen we RBTransformer voor, een op Transformer gebaseerde neurale netwerkarchitectuur die de neurale dynamiek tussen hersenschorsgebieden modelleert in de latente ruimte om gestructureerde neurale interacties beter te vangen voor effectieve EEG-gebaseerde emotieherkenning. Eerst worden de EEG-signalen omgezet in Band Differentiële Entropie (BDE)-tokens, die vervolgens door Electrode Identity embeddings worden geleid om de ruimtelijke herkomst te behouden. Deze tokens worden verwerkt door opeenvolgende multi-head attention blokken tussen hersenschorsgebieden, die een aandachtmatrix (electrode x electrode) construeren, zodat het model de neurale afhankelijkheden tussen de hersenschorsgebieden kan leren. De resulterende kenmerken worden vervolgens door een classificatiehoofd geleid om de uiteindelijke voorspelling te verkrijgen. We hebben uitgebreide experimenten uitgevoerd, specifiek onder subject-afhankelijke condities, op de SEED, DEAP en DREAMER datasets, voor alle drie de dimensies (Valentie, Arousal en Dominantie voor DEAP en DREAMER), onder zowel binaire als multi-class classificatieomstandigheden. De resultaten tonen aan dat de voorgestelde RBTransformer alle vorige state-of-the-art methoden overtreft op alle drie de datasets, voor alle drie de dimensies onder beide classificatieomstandigheden. De broncode is beschikbaar op: https://github.com/nnilayy/RBTransformer.

English

Human emotions are difficult to convey through words and are often abstracted in the process; however, electroencephalogram (EEG) signals can offer a more direct lens into emotional brain activity. Recent studies show that deep learning models can process these signals to perform emotion recognition with high accuracy. However, many existing approaches overlook the dynamic interplay between distinct brain regions, which can be crucial to understanding how emotions unfold and evolve over time, potentially aiding in more accurate emotion recognition. To address this, we propose RBTransformer, a Transformer-based neural network architecture that models inter-cortical neural dynamics of the brain in latent space to better capture structured neural interactions for effective EEG-based emotion recognition. First, the EEG signals are converted into Band Differential Entropy (BDE) tokens, which are then passed through Electrode Identity embeddings to retain spatial provenance. These tokens are processed through successive inter-cortical multi-head attention blocks that construct an electrode x electrode attention matrix, allowing the model to learn the inter-cortical neural dependencies. The resulting features are then passed through a classification head to obtain the final prediction. We conducted extensive experiments, specifically under subject-dependent settings, on the SEED, DEAP, and DREAMER datasets, over all three dimensions, Valence, Arousal, and Dominance (for DEAP and DREAMER), under both binary and multi-class classification settings. The results demonstrate that the proposed RBTransformer outperforms all previous state-of-the-art methods across all three datasets, over all three dimensions under both classification settings. The source code is available at: https://github.com/nnilayy/RBTransformer.