Ein Hirnwellenmuster kodiert tausend Signale: Modellierung interkortikaler neuronaler Wechselwirkungen für eine effektive EEG-basierte Emotionserkennung
A Brain Wave Encodes a Thousand Tokens: Modeling Inter-Cortical Neural Interactions for Effective EEG-based Emotion Recognition
November 17, 2025
papers.authors: Nilay Kumar, Priyansh Bhandari, G. Maragatham
cs.AI
papers.abstract
Menschliche Emotionen sind schwer in Worte zu fassen und werden im Prozess der Verbalisierung oft abstrahiert; Elektroenzephalogramm (EEG)-Signale können hingegen einen direkteren Einblick in die emotionale Gehirnaktivität bieten. Jüngste Studien zeigen, dass Deep-Learning-Modelle diese Signale verarbeiten können, um eine Emotionserkennung mit hoher Genauigkeit durchzuführen. Viele bestehende Ansätze übersehen jedoch die dynamische Wechselwirkung zwischen verschiedenen Gehirnregionen, die entscheidend zum Verständnis beitragen kann, wie Emotionen entstehen und sich über die Zeit entwickeln, was potenziell eine genauere Emotionserkennung ermöglicht. Um dies zu adressieren, schlagen wir RBTransformer vor, eine Transformer-basierte neuronale Netzwerkarchitektur, die die neuralen Dynamiken zwischen kortikalen Regionen des Gehirns im latenten Raum modelliert, um strukturierte neuronale Interaktionen für eine effektive EEG-basierte Emotionserkennung besser zu erfassen. Zunächst werden die EEG-Signale in Band-Differential-Entropie (BDE)-Tokens umgewandelt, die dann durch Electrode-Identity-Embeddings geleitet werden, um die räumliche Herkunft beizubehalten. Diese Tokens werden durch aufeinanderfolgende interkortikale Multi-Head-Attention-Blöcke verarbeitet, die eine Elektrode-x-Elektrode-Attentionsmatrix konstruieren und es dem Modell ermöglichen, die neuralen Abhängigkeiten zwischen den kortikalen Regionen zu erlernen. Die resultierenden Merkmale werden anschließend durch einen Klassifikationskopf geleitet, um die endgültige Vorhersage zu erhalten. Wir führten umfangreiche Experimente unter subjektabhängigen Bedingungen an den SEED-, DEAP- und DREAMER-Datensätzen durch, über alle drei Dimensionen – Valenz, Erregung und Dominanz (für DEAP und DREAMER) – sowohl unter binären als auch unter Multi-Class-Klassifikationsbedingungen. Die Ergebnisse zeigen, dass der vorgeschlagene RBTransformer alle bisherigen State-of-the-Art-Methoden über alle drei Datensätze, alle drei Dimensionen und beide Klassifikationssettings hinweg übertrifft. Der Quellcode ist verfügbar unter: https://github.com/nnilayy/RBTransformer.
English
Human emotions are difficult to convey through words and are often abstracted in the process; however, electroencephalogram (EEG) signals can offer a more direct lens into emotional brain activity. Recent studies show that deep learning models can process these signals to perform emotion recognition with high accuracy. However, many existing approaches overlook the dynamic interplay between distinct brain regions, which can be crucial to understanding how emotions unfold and evolve over time, potentially aiding in more accurate emotion recognition. To address this, we propose RBTransformer, a Transformer-based neural network architecture that models inter-cortical neural dynamics of the brain in latent space to better capture structured neural interactions for effective EEG-based emotion recognition. First, the EEG signals are converted into Band Differential Entropy (BDE) tokens, which are then passed through Electrode Identity embeddings to retain spatial provenance. These tokens are processed through successive inter-cortical multi-head attention blocks that construct an electrode x electrode attention matrix, allowing the model to learn the inter-cortical neural dependencies. The resulting features are then passed through a classification head to obtain the final prediction. We conducted extensive experiments, specifically under subject-dependent settings, on the SEED, DEAP, and DREAMER datasets, over all three dimensions, Valence, Arousal, and Dominance (for DEAP and DREAMER), under both binary and multi-class classification settings. The results demonstrate that the proposed RBTransformer outperforms all previous state-of-the-art methods across all three datasets, over all three dimensions under both classification settings. The source code is available at: https://github.com/nnilayy/RBTransformer.