RESCUE-BENCH：関係性を考慮した多人数感情支援対話システムに向けて

要旨

既存の感情的支援対話システムは、主に支援希求者と支援者の一対一の相互作用および個人の感情状態に焦点を当てており、多者間場面における対人関係は十分に検討されていない。本研究では、関係性を考慮した感情的支援対話を導入する。これは、LLMが関係性の進展するダイナミクスを捉えて活用し、より効果的な感情的支援を提供できるかを評価する新しいタスクである。我々は、実際のカップルおよび家族のインタビュー会話からRESCUE（Relation-aware Emotional Support Conversation Understanding and Evaluation Benchmark）を構築した。これは191サンプル、7,079個のアノテーション付きターン、1,064.8分の動画を含む。社会情緒的および支援関連のダイナミクスに関する豊富なアノテーションに基づき、RESCUEは、関係性を考慮した感情的支援に必要な2つの中核能力、すなわち関係性理解と関係性に敏感な支援を評価する6つのタスクを定義している。10種類のLLMを用いた実験は、現在のモデルが局所的な感情的手がかりまたは介入手がかりに依存するタスクでは比較的良好に性能を発揮する一方、関係パターン予測、視点予測、支援方略予測など関係性が強く関与するタスクでは苦戦することを示している。これらの知見は、現在のLLMが対人関係をモデル化し、関係性に敏感な支援判断を下す上での限界を明らかにする。

English

Existing emotional support conversation systems mainly focus on one-on-one seeker-supporter interactions and individual emotional states, leaving interpersonal relations in multi-party scenarios underexplored. In this work, we introduce relation-aware emotional support conversation, a new task that evaluates whether LLMs can capture and utilize the evolving dynamics of relationships to offer more effective emotional support. We construct RESCUE (Relation-aware Emotional Support Conversation Understanding and Evaluation Benchmark) from real couple and family interview conversations, containing 191 samples, 7,079 annotated turns, and 1,064.8 minutes of video. Based on rich annotations of socio-emotional and support-related dynamics, RESCUE defines six tasks that evaluate two core capabilities required for relation-aware emotional support: Relational Understanding and Relation-Sensitive Support. Experiments with ten LLMs show that current models perform relatively well on tasks relying on local emotional or intervention cues, but struggle with relation-intensive tasks such as relation pattern prediction, viewpoint prediction, and support strategy prediction. These findings reveal the limitations of current LLMs in modeling interpersonal relations and making relation-sensitive support decisions.