Мозговая волна кодирует тысячу токенов: моделирование межкортикальных нейронных взаимодействий для эффективного распознавания эмоций на основе ЭЭГ

A Brain Wave Encodes a Thousand Tokens: Modeling Inter-Cortical Neural Interactions for Effective EEG-based Emotion Recognition

November 17, 2025

Авторы: Nilay Kumar, Priyansh Bhandari, G. Maragatham

cs.AI

Аннотация

Человеческие эмоции сложно передать словами и они часто абстрагируются в процессе описания; однако сигналы электроэнцефалограммы (ЭЭГ) могут предложить более прямой взгляд на эмоциональную активность мозга. Недавние исследования показывают, что модели глубокого обучения способны обрабатывать эти сигналы для распознавания эмоций с высокой точностью. Однако многие существующие подходы упускают из виду динамическое взаимодействие между различными областями мозга, которое может быть crucial для понимания того, как эмоции возникают и развиваются во времени, что потенциально способствует более точному распознаванию эмоций. Чтобы решить эту проблему, мы предлагаем RBTransformer — нейросетевую архитектуру на основе Transformer, которая моделирует межкортикальную нейродинамику мозга в латентном пространстве, чтобы лучше улавливать структурированные нейронные взаимодействия для эффективного распознавания эмоций на основе ЭЭГ. Сначала сигналы ЭЭГ преобразуются в токены Band Differential Entropy (BDE), которые затем пропускаются через Electrode Identity embeddings для сохранения пространственной принадлежности. Эти токены обрабатываются последовательными межкортикальными блоками многоголового внимания, которые строят матрицу внимания "электрод x электрод", позволяя модели изучать межкортикальные нейронные зависимости. Полученные признаки затем пропускаются через классификационную голову для получения окончательного прогноза. Мы провели обширные эксперименты, в частности, в условиях, зависимых от субъекта, на наборах данных SEED, DEAP и DREAMER, по всем трем измерениям — Валентность, Возбуждение и Доминантность (для DEAP и DREAMER), в условиях как бинарной, так и многоклассовой классификации. Результаты демонстрируют, что предложенный RBTransformer превосходит все предыдущие современные методы на всех трех наборах данных, по всем трем измерениям в обоих режимах классификации. Исходный код доступен по адресу: https://github.com/nnilayy/RBTransformer.

English

Human emotions are difficult to convey through words and are often abstracted in the process; however, electroencephalogram (EEG) signals can offer a more direct lens into emotional brain activity. Recent studies show that deep learning models can process these signals to perform emotion recognition with high accuracy. However, many existing approaches overlook the dynamic interplay between distinct brain regions, which can be crucial to understanding how emotions unfold and evolve over time, potentially aiding in more accurate emotion recognition. To address this, we propose RBTransformer, a Transformer-based neural network architecture that models inter-cortical neural dynamics of the brain in latent space to better capture structured neural interactions for effective EEG-based emotion recognition. First, the EEG signals are converted into Band Differential Entropy (BDE) tokens, which are then passed through Electrode Identity embeddings to retain spatial provenance. These tokens are processed through successive inter-cortical multi-head attention blocks that construct an electrode x electrode attention matrix, allowing the model to learn the inter-cortical neural dependencies. The resulting features are then passed through a classification head to obtain the final prediction. We conducted extensive experiments, specifically under subject-dependent settings, on the SEED, DEAP, and DREAMER datasets, over all three dimensions, Valence, Arousal, and Dominance (for DEAP and DREAMER), under both binary and multi-class classification settings. The results demonstrate that the proposed RBTransformer outperforms all previous state-of-the-art methods across all three datasets, over all three dimensions under both classification settings. The source code is available at: https://github.com/nnilayy/RBTransformer.