LongEmotion: Het meten van emotionele intelligentie van grote taalmodellen in langdurige contextinteracties

LongEmotion: Measuring Emotional Intelligence of Large Language Models in Long-Context Interaction

September 9, 2025

Auteurs: Weichu Liu, Jing Xiong, Yuxuan Hu, Zixuan Li, Minghuan Tan, Ningning Mao, Chenyang Zhao, Zhongwei Wan, Chaofan Tao, Wendong Xu, Hui Shen, Chengming Li, Lingpeng Kong, Ngai Wong

cs.AI

Samenvatting

Grote taalmmodellen (LLMs) boeken aanzienlijke vooruitgang in emotionele intelligentie (EI) en het begrijpen van lange contexten. Bestaande benchmarks negeren echter vaak bepaalde aspecten van EI in scenario's met lange contexten, vooral onder realistische, praktische omstandigheden waarbij interacties lang, divers en vaak rumoerig zijn. Om naar dergelijke realistische omstandigheden toe te werken, presenteren we LongEmotion, een benchmark die specifiek is ontworpen voor EI-taken met lange contexten. Het omvat een diverse set taken, waaronder Emotieclassificatie, Emotiedetectie, Emotie-QA, Emotieconversatie, Emotiesamenvatting en Emotie-expressie. Gemiddeld bereikt de invoerlengte voor deze taken 8.777 tokens, waarbij langere tekstgeneratie vereist is voor Emotie-expressie. Om de prestaties onder realistische beperkingen te verbeteren, integreren we Retrieval-Augmented Generation (RAG) en Collaborative Emotional Modeling (CoEM), en vergelijken we deze met standaard prompt-gebaseerde methoden. In tegenstelling tot conventionele benaderingen, maakt onze RAG-methode gebruik van zowel de gesprekscontext als het grote taalmodel zelf als bronnen voor retrieval, waardoor afhankelijkheid van externe kennisbanken wordt vermeden. De CoEM-methode verbetert de prestaties verder door de taak op te splitsen in vijf fasen, waarbij zowel retrieval-augmentatie als beperkte kennisinjectie worden geïntegreerd. Experimentele resultaten tonen aan dat zowel RAG als CoEM consistent de EI-gerelateerde prestaties verbeteren bij de meeste taken met lange contexten, waardoor LLMs dichter bij praktische en real-world EI-toepassingen komen. Bovendien hebben we een vergelijkende casestudy-experiment uitgevoerd op de GPT-serie om de verschillen tussen verschillende modellen op het gebied van EI te demonstreren. De code is beschikbaar op GitHub via https://github.com/LongEmotion/LongEmotion, en de projectpagina is te vinden op https://longemotion.github.io/.

English

Large language models (LLMs) make significant progress in Emotional Intelligence (EI) and long-context understanding. However, existing benchmarks tend to overlook certain aspects of EI in long-context scenarios, especially under realistic, practical settings where interactions are lengthy, diverse, and often noisy. To move towards such realistic settings, we present LongEmotion, a benchmark specifically designed for long-context EI tasks. It covers a diverse set of tasks, including Emotion Classification, Emotion Detection, Emotion QA, Emotion Conversation, Emotion Summary, and Emotion Expression. On average, the input length for these tasks reaches 8,777 tokens, with long-form generation required for Emotion Expression. To enhance performance under realistic constraints, we incorporate Retrieval-Augmented Generation (RAG) and Collaborative Emotional Modeling (CoEM), and compare them with standard prompt-based methods. Unlike conventional approaches, our RAG method leverages both the conversation context and the large language model itself as retrieval sources, avoiding reliance on external knowledge bases. The CoEM method further improves performance by decomposing the task into five stages, integrating both retrieval augmentation and limited knowledge injection. Experimental results show that both RAG and CoEM consistently enhance EI-related performance across most long-context tasks, advancing LLMs toward more practical and real-world EI applications. Furthermore, we conducted a comparative case study experiment on the GPT series to demonstrate the differences among various models in terms of EI. Code is available on GitHub at https://github.com/LongEmotion/LongEmotion, and the project page can be found at https://longemotion.github.io/.