차용된 역사를 넘어: 대화형 롤플레잉 평가를 위한 인물 정합적 사용자 시뮬레이션

초록

롤플레잉 에이전트(RPA)는 대규모 언어 모델의 가장 중요한 소비자 애플리케이션 중 하나가 되었다. 사용자는 정서적 위로와 같은 경험을 위해 RPA와 다중 턴 대화를 수행하며, 따라서 역량 측정, 시스템 비교, 추가 개선 방향 도출을 위해 신뢰할 수 있는 평가가 필수적이다. 그러나 기존 벤치마크는 일반적으로 RPA가 고정된 대화 이력을 이어받아 계속 진행하도록 요구한 뒤, 사용자와 분리된 고정 평가 기준을 사용하여 그 연속 응답을 평가한다. 우리는 이러한 설계의 두 가지 한계를 확인하고 실증적으로 보여준다. 첫째, RPA의 출력은 선행 대화 이력에 의해 결정되므로, 실제 다중 턴 환경에서 역할극 능력을 과학적으로 근거 있게 평가하기 어렵다. 둘째, 사용자 경험은 개인에 따라 크게 달라지며, 기존의 고정 평가 기준이 사용자 만족도와 반드시 일치하지는 않는다. 이에 우리는 사용자 시뮬레이터에 기반한 확장 가능한 RPA 벤치마크인 PALATE(Person-Aligned LLM-Simulated-User Assessment with Tailored Evaluation)를 도입한다. PALATE는 300개의 캐릭터 프로필로 구성된 풀을 포함한다. 주요 평가에서는 사용자별 시뮬레이터 다섯 개를 훈련시키고, 이들이 사전 고정된 캐릭터 프로필 패널에 대해 후보 RPA와 자유 형식의 다중 턴 대화를 수행하도록 한다. 일반 품질 평가 기준과 함께, 우리는 사용자 만족도를 측정하기 위한 개인화된 평가 기준을 구축한다. 홀드아웃(held-out) 주석 데이터에서 개인화된 평가 기준은 일반 평가 기준보다 인간 판단과 더 높은 일치도를 보인다. 16개 후보에 대한 주요 평가에서 PALATE는 각 후보 RPA가 사용자 시뮬레이터와 공동으로 구성한 다중 턴 대화 궤적에 대해 일반적인 턴 품질, 장기 세션 능력, 사용자별 경험을 각각 특성화한다. 이를 통해 시스템들을 단일한 사용자 독립적 순위로 압축하지 않고, 특정 사용자-RPA 쌍에 대한 해석 가능한 평가를 제공한다.

English

Role-playing agents (RPAs) have become one of the most important consumer applications of large language models. Users engage in multi-turn conversations with RPAs for experiences such as emotional comfort, making reliable evaluation essential for measuring capability, comparing systems, and guiding further improvement. Existing benchmarks, however, typically require an RPA to continue a fixed dialogue history and then evaluate the continuation using a fixed rubric detached from the user. We identify and empirically demonstrate two limitations of this design. First, an RPA's output is shaped by the preceding dialogue history, preventing a scientifically grounded assessment of its role-playing ability in real multi-turn settings. Second, user experience varies substantially across individuals, and conventional fixed rubrics need not align with user satisfaction. We therefore introduce PALATE (Person-Aligned LLM-Simulated-User Assessment with Tailored Evaluation), a scalable RPA benchmark built on user simulators. PALATE is accompanied by a pool of 300 character profiles. Its main evaluation trains five per-user simulators and lets them engage candidate RPAs in free-form, multi-turn conversations over a pre-frozen panel of character profiles. Alongside a general quality rubric, we construct personalized rubrics to measure user satisfaction; on held-out annotated data, the personalized rubrics show higher agreement with human judgments than the general rubric. In the main evaluation of 16 candidates, PALATE separately characterizes generic turn quality, long-horizon session capability, and per-user experience on multi-turn trajectories co-constructed by each candidate. It thereby produces interpretable evaluations of specific user-RPA pairs rather than compressing systems into a single user-independent ranking.