PingPong: ユーザーエミュレーションとマルチモデル評価を用いたロールプレイング言語モデルのためのベンチマーク

PingPong: A Benchmark for Role-Playing Language Models with User Emulation and Multi-Model Evaluation

September 10, 2024

著者: Ilya Gusev

cs.AI

要旨

言語モデルのロールプレイ能力を評価するための新しいベンチマークを紹介します。当該手法は、言語モデル自体を活用して、動的でマルチターンの会話においてユーザーを模倣し、その結果の対話を評価します。このフレームワークは、特定のキャラクターロールを担うプレイヤーモデル、ユーザーの振る舞いをシミュレートする尋問者モデル、そして会話の品質を評価する判定者モデルの3つの主要コンポーネントから構成されています。我々は、自動評価と人間の注釈を比較する実験を行い、複数の基準にわたる強い相関を示すことで、当該手法の妥当性を検証しました。この研究は、インタラクティブなシナリオにおけるモデルの能力を堅牢かつ動的に評価するための基盤を提供します。

English

We introduce a novel benchmark for evaluating the role-playing capabilities of language models. Our approach leverages language models themselves to emulate users in dynamic, multi-turn conversations and to assess the resulting dialogues. The framework consists of three main components: a player model assuming a specific character role, an interrogator model simulating user behavior, and a judge model evaluating conversation quality. We conducted experiments comparing automated evaluations with human annotations to validate our approach, demonstrating strong correlations across multiple criteria. This work provides a foundation for a robust and dynamic evaluation of model capabilities in interactive scenarios.