RESCUE-BENCH: 관계 인식 다자간 정서적 지원 대화 시스템을 향하여

초록

기존 정서 지원 대화 시스템은 주로 일대일 도움 요청자-지원자 상호작용과 개별 정서 상태에 초점을 맞추어, 다자간 상황에서의 대인 관계는 충분히 탐구되지 않은 상태로 남아 있다. 본 연구에서는 LLM이 관계의 변화하는 역동성을 포착하고 활용하여 보다 효과적인 정서적 지원을 제공할 수 있는지 평가하는 새로운 과제인 관계 인식 정서 지원 대화를 소개한다. 우리는 실제 부부 및 가족 인터뷰 대화로부터 RESCUE(Relation-aware Emotional Support Conversation Understanding and Evaluation Benchmark)를 구축하며, 이는 191개 샘플, 7,079개의 주석이 달린 발화 턴, 1,064.8분의 영상을 포함한다. 사회정서적 및 지원 관련 역동성에 대한 풍부한 주석을 바탕으로, RESCUE는 관계 인식 정서 지원에 필요한 두 가지 핵심 역량인 관계 이해(Relational Understanding)와 관계 민감 지원(Relation-Sensitive Support)을 평가하는 여섯 가지 과제를 정의한다. 10개 LLM을 사용한 실험은 현재 모델들이 국소적 정서 단서나 개입 단서에 의존하는 과제에서는 비교적 좋은 성능을 보이지만, 관계 패턴 예측, 관점 예측, 지원 전략 예측과 같은 관계 집약적 과제에서는 어려움을 겪는다는 것을 보여준다. 이러한 발견은 대인 관계를 모델링하고 관계 민감 지원 결정을 내리는 데 있어 현재 LLM의 한계를 드러낸다.

English

Existing emotional support conversation systems mainly focus on one-on-one seeker-supporter interactions and individual emotional states, leaving interpersonal relations in multi-party scenarios underexplored. In this work, we introduce relation-aware emotional support conversation, a new task that evaluates whether LLMs can capture and utilize the evolving dynamics of relationships to offer more effective emotional support. We construct RESCUE (Relation-aware Emotional Support Conversation Understanding and Evaluation Benchmark) from real couple and family interview conversations, containing 191 samples, 7,079 annotated turns, and 1,064.8 minutes of video. Based on rich annotations of socio-emotional and support-related dynamics, RESCUE defines six tasks that evaluate two core capabilities required for relation-aware emotional support: Relational Understanding and Relation-Sensitive Support. Experiments with ten LLMs show that current models perform relatively well on tasks relying on local emotional or intervention cues, but struggle with relation-intensive tasks such as relation pattern prediction, viewpoint prediction, and support strategy prediction. These findings reveal the limitations of current LLMs in modeling interpersonal relations and making relation-sensitive support decisions.