LongEmotion: Измерение эмоционального интеллекта крупных языковых моделей в контексте длительного взаимодействия

LongEmotion: Measuring Emotional Intelligence of Large Language Models in Long-Context Interaction

September 9, 2025

Авторы: Weichu Liu, Jing Xiong, Yuxuan Hu, Zixuan Li, Minghuan Tan, Ningning Mao, Chenyang Zhao, Zhongwei Wan, Chaofan Tao, Wendong Xu, Hui Shen, Chengming Li, Lingpeng Kong, Ngai Wong

cs.AI

Аннотация

Крупные языковые модели (LLM) демонстрируют значительный прогресс в области эмоционального интеллекта (EI) и понимания длинных контекстов. Однако существующие бенчмарки часто упускают из виду определенные аспекты EI в сценариях с длинными контекстами, особенно в реалистичных практических условиях, где взаимодействия продолжительны, разнообразны и зачастую содержат шум. Для продвижения к таким реалистичным условиям мы представляем LongEmotion — бенчмарк, специально разработанный для задач EI в длинных контекстах. Он охватывает разнообразные задачи, включая классификацию эмоций, обнаружение эмоций, вопросы и ответы на основе эмоций, эмоциональные диалоги, резюмирование эмоций и выражение эмоций. В среднем длина входных данных для этих задач достигает 8 777 токенов, а для задачи выражения эмоций требуется генерация длинных текстов. Для повышения производительности в реалистичных условиях мы внедряем методы генерации с использованием поиска (Retrieval-Augmented Generation, RAG) и совместного эмоционального моделирования (Collaborative Emotional Modeling, CoEM), сравнивая их со стандартными методами на основе промптов. В отличие от традиционных подходов, наш метод RAG использует как контекст диалога, так и саму языковую модель в качестве источников для поиска, избегая зависимости от внешних баз знаний. Метод CoEM дополнительно улучшает производительность, разбивая задачу на пять этапов, интегрируя как поисковое усиление, так и ограниченное внедрение знаний. Экспериментальные результаты показывают, что как RAG, так и CoEM последовательно улучшают производительность, связанную с EI, в большинстве задач с длинными контекстами, продвигая LLM к более практическим и применимым в реальном мире задачам EI. Кроме того, мы провели сравнительное исследование на моделях серии GPT, чтобы продемонстрировать различия между различными моделями в контексте EI. Код доступен на GitHub по адресу https://github.com/LongEmotion/LongEmotion, а страница проекта находится по адресу https://longemotion.github.io/.

English

Large language models (LLMs) make significant progress in Emotional Intelligence (EI) and long-context understanding. However, existing benchmarks tend to overlook certain aspects of EI in long-context scenarios, especially under realistic, practical settings where interactions are lengthy, diverse, and often noisy. To move towards such realistic settings, we present LongEmotion, a benchmark specifically designed for long-context EI tasks. It covers a diverse set of tasks, including Emotion Classification, Emotion Detection, Emotion QA, Emotion Conversation, Emotion Summary, and Emotion Expression. On average, the input length for these tasks reaches 8,777 tokens, with long-form generation required for Emotion Expression. To enhance performance under realistic constraints, we incorporate Retrieval-Augmented Generation (RAG) and Collaborative Emotional Modeling (CoEM), and compare them with standard prompt-based methods. Unlike conventional approaches, our RAG method leverages both the conversation context and the large language model itself as retrieval sources, avoiding reliance on external knowledge bases. The CoEM method further improves performance by decomposing the task into five stages, integrating both retrieval augmentation and limited knowledge injection. Experimental results show that both RAG and CoEM consistently enhance EI-related performance across most long-context tasks, advancing LLMs toward more practical and real-world EI applications. Furthermore, we conducted a comparative case study experiment on the GPT series to demonstrate the differences among various models in terms of EI. Code is available on GitHub at https://github.com/LongEmotion/LongEmotion, and the project page can be found at https://longemotion.github.io/.