脳波は千のトークンを符号化する：効果的なEEGベース感情認識のための大脳皮質間神経相互作用のモデリング

A Brain Wave Encodes a Thousand Tokens: Modeling Inter-Cortical Neural Interactions for Effective EEG-based Emotion Recognition

November 17, 2025

著者: Nilay Kumar, Priyansh Bhandari, G. Maragatham

cs.AI

要旨

人間の感情は言葉で伝えることが難しく、その過程で抽象化されがちである。しかし、脳波（EEG）信号は、感情に伴う脳活動をより直接的に捉える窓口となり得る。近年の研究では、深層学習モデルがこれらの信号を処理し、高精度で感情認識を行えることが示されている。しかし、既存の多くの手法は、異なる脳領域間の動的な相互作用を見落としており、これは感情が時間とともにどのように展開・変化するかを理解する上で重要であり、より正確な感情認識に寄与する可能性がある。この問題に対処するため、我々はRBTransformerを提案する。これはTransformerベースのニューラルネットワークアーキテクチャであり、潜在空間で大脳皮質間の神経ダイナミクスをモデル化し、EEGに基づく効果的な感情認識のための構造化された神経相互作用をより良く捉えることを目的とする。まず、EEG信号は帯域別微分エントロピー（BDE）トークンに変換され、電極位置情報を保持するための電極同一性埋め込みを通過する。これらのトークンは、連続する大脳皮質間マルチヘッドアテンションブロックで処理され、電極×電極のアテンションマトリックスを構築することで、モデルは大脳皮質間の神経的依存関係を学習する。得られた特徴は最終的に分類ヘッドを通過し、最終的な予測を得る。SEED、DEAP、DREAMERデータセットを用い、被験者依存設定の下、価覚（Valence）、覚醒度（Arousal）、優勢度（Dominance）（DEAPとDREAMERの場合）の全3次元において、二値分類および多クラス分類の両設定で広範な実験を実施した。結果は、提案するRBTransformerが、両分類設定において、全3データセット、全3次元で、従来のすべての最先端手法を凌駕することを示している。ソースコードは以下で公開されている：https://github.com/nnilayy/RBTransformer。

English

Human emotions are difficult to convey through words and are often abstracted in the process; however, electroencephalogram (EEG) signals can offer a more direct lens into emotional brain activity. Recent studies show that deep learning models can process these signals to perform emotion recognition with high accuracy. However, many existing approaches overlook the dynamic interplay between distinct brain regions, which can be crucial to understanding how emotions unfold and evolve over time, potentially aiding in more accurate emotion recognition. To address this, we propose RBTransformer, a Transformer-based neural network architecture that models inter-cortical neural dynamics of the brain in latent space to better capture structured neural interactions for effective EEG-based emotion recognition. First, the EEG signals are converted into Band Differential Entropy (BDE) tokens, which are then passed through Electrode Identity embeddings to retain spatial provenance. These tokens are processed through successive inter-cortical multi-head attention blocks that construct an electrode x electrode attention matrix, allowing the model to learn the inter-cortical neural dependencies. The resulting features are then passed through a classification head to obtain the final prediction. We conducted extensive experiments, specifically under subject-dependent settings, on the SEED, DEAP, and DREAMER datasets, over all three dimensions, Valence, Arousal, and Dominance (for DEAP and DREAMER), under both binary and multi-class classification settings. The results demonstrate that the proposed RBTransformer outperforms all previous state-of-the-art methods across all three datasets, over all three dimensions under both classification settings. The source code is available at: https://github.com/nnilayy/RBTransformer.