PACE: 사용자 요청에서 숨겨진 갈등을 표면화하기 위하여

초록

개인화 비서는 사용자 요청을 수행할 뿐만 아니라, 해당 요청이 사용자의 현재 상황에 비추어 적절한지도 평가해야 한다. 그러나 기존 연구는 주로 요청의 정확한 실행에 초점을 맞추어 왔으며, 비서가 맥락을 고려하고 갈등 기반 거부(conflict-based refusal)에 참여해야 할 필요성은 간과해 왔다. 또한, 기존의 갈등 또는 안전 탐지 연구는 명시적으로 제공된 요소에 의존하는 반면, 실제 세계 시나리오에서는 지식 베이스(KB)에서 검색되어야 하는 암묵적 요소가 자주 수반된다. 이러한 문제를 해결하기 위해, 우리는 겉으로는 합리적으로 보이는 사용자 요청을 부적절하게 만드는 잠재적 제약 조건(자기중심적 지식 또는 사건으로 표현됨)을 모델이 식별할 수 있는지 평가하기 위한 데이터셋인 PACE(Personalized Assistants for Conflict Evaluation)를 소개한다. PACE는 잘 정의된 페르소나에 기반한 사용자 요청을 자기중심적 KB 사실과 짝지어, 모델이 맥락적 증거를 통합하여 요청이 갈등을 유발하는지 여부를 판단하도록 요구한다. 이러한 암묵적 검색 설정은 사용자 요청과 갈등 유발 지식 사이의 직접적 연관을 방해하여, 기존 모델이 관련 사용자별 사실을 식별하기 어렵게 만든다. 이 문제를 해결하기 위해 우리는 맥락적으로 결정적인 증거를 검색하기 위해 전문화된 에이전트들이 질의 재구성, 다중 홉 그래프 탐색, 갈등 인식 필터링에 걸쳐 협력하는 다중 에이전트 프레임워크인 PaceMaker를 추가로 제안한다. PACE에 대한 실험은 증거 검색 품질과 갈등 판단 정확도를 모두 평가하며, PaceMaker가 기존 접근 방식보다 일관되게 우수한 성능을 보임을 입증한다.

English

Personalized assistants should not only comply with user requests but also assess whether those requests are appropriate given the user's current circumstances. However, prior work has primarily focused on accurately executing requests, overlooking the need for assistants to account for context and engage in conflict-based refusal. Furthermore, while existing work on conflict or safety detection relies on explicitly provided factors, real-world scenarios often involve implicit factors that must be retrieved from a knowledge base (KB). To this end, we introduce Personalized Assistants for Conflict Evaluation (PACE), a dataset for evaluating whether models can identify latent constraints, expressed as egocentric knowledge or events, that render seemingly reasonable user requests inappropriate. PACE pairs user requests grounded in well-defined personas with egocentric KB facts, requiring models to integrate contextual evidence to determine whether a request is conflicting. This implicit retrieval setting hinders the direct association between user requests and conflict-inducing knowledge, making it difficult for existing models to identify relevant user-specific facts. To address this challenge, we further propose PaceMaker, a multi-agent framework in which specialized agents coordinate across query reformulation, multi-hop graph traversal, and conflict-aware filtering to retrieve contextually decisive evidence. Experiments on PACE evaluate both evidence retrieval quality and conflict decision accuracy, showing that PaceMaker consistently outperforms existing approaches.