Uma Onda Cerebral Codifica Mil Tokens: Modelando Interações Neurais Intercorticais para Reconhecimento Eficaz de Emoções Baseado em EEG

A Brain Wave Encodes a Thousand Tokens: Modeling Inter-Cortical Neural Interactions for Effective EEG-based Emotion Recognition

November 17, 2025

Autores: Nilay Kumar, Priyansh Bhandari, G. Maragatham

cs.AI

Resumo

As emoções humanas são difíceis de transmitir através de palavras e frequentemente tornam-se abstratas no processo; no entanto, os sinais de eletroencefalograma (EEG) podem oferecer uma lente mais direta sobre a atividade cerebral emocional. Estudos recentes mostram que modelos de aprendizagem profunda podem processar esses sinais para realizar o reconhecimento de emoções com alta precisão. Contudo, muitas abordagens existentes negligenciam a interação dinâmica entre distintas regiões cerebrais, que pode ser crucial para compreender como as emoções se desdobram e evoluem ao longo do tempo, potencialmente auxiliando em um reconhecimento emocional mais preciso. Para resolver isso, propomos o RBTransformer, uma arquitetura de rede neural baseada no Transformer que modela a dinâmica neural inter-cortical do cérebro no espaço latente para capturar melhor as interações neurais estruturadas para um reconhecimento de emoções baseado em EEG eficaz. Primeiro, os sinais de EEG são convertidos em tokens de Entropia Diferencial de Banda (BDE), que são então passados por incorporações de Identidade de Eletrodo para reter a proveniência espacial. Esses tokens são processados por sucessivos blocos de atenção multi-cabeça inter-cortical que constroem uma matriz de atenção eletrodo x eletrodo, permitindo que o modelo aprenda as dependências neurais inter-corticais. As características resultantes são então passadas por um cabeçalho de classificação para obter a previsão final. Realizamos extensivos experimentos, especificamente em configurações dependentes do sujeito, nos conjuntos de dados SEED, DEAP e DREAMER, em todas as três dimensões (Valência, Excitação e Dominância para DEAP e DREAMER), sob configurações de classificação binária e multiclasse. Os resultados demonstram que o RBTransformer proposto supera todos os métodos state-of-the-art anteriores em todos os três conjuntos de dados, em todas as três dimensões, sob ambas as configurações de classificação. O código-fonte está disponível em: https://github.com/nnilayy/RBTransformer.

English

Human emotions are difficult to convey through words and are often abstracted in the process; however, electroencephalogram (EEG) signals can offer a more direct lens into emotional brain activity. Recent studies show that deep learning models can process these signals to perform emotion recognition with high accuracy. However, many existing approaches overlook the dynamic interplay between distinct brain regions, which can be crucial to understanding how emotions unfold and evolve over time, potentially aiding in more accurate emotion recognition. To address this, we propose RBTransformer, a Transformer-based neural network architecture that models inter-cortical neural dynamics of the brain in latent space to better capture structured neural interactions for effective EEG-based emotion recognition. First, the EEG signals are converted into Band Differential Entropy (BDE) tokens, which are then passed through Electrode Identity embeddings to retain spatial provenance. These tokens are processed through successive inter-cortical multi-head attention blocks that construct an electrode x electrode attention matrix, allowing the model to learn the inter-cortical neural dependencies. The resulting features are then passed through a classification head to obtain the final prediction. We conducted extensive experiments, specifically under subject-dependent settings, on the SEED, DEAP, and DREAMER datasets, over all three dimensions, Valence, Arousal, and Dominance (for DEAP and DREAMER), under both binary and multi-class classification settings. The results demonstrate that the proposed RBTransformer outperforms all previous state-of-the-art methods across all three datasets, over all three dimensions under both classification settings. The source code is available at: https://github.com/nnilayy/RBTransformer.