PingPong: Бенчмарк для ролевых языковых моделей с эмуляцией пользователя и многомодельной оценкой.

PingPong: A Benchmark for Role-Playing Language Models with User Emulation and Multi-Model Evaluation

September 10, 2024

Авторы: Ilya Gusev

cs.AI

Аннотация

Мы представляем новый бенчмарк для оценки возможностей ролевого моделирования языковых моделей. Наш подход использует сами языковые модели для эмуляции пользователей в динамичных многоходовых разговорах и оценки полученных диалогов. Фреймворк состоит из трех основных компонентов: модели игрока, предполагающей определенную роль персонажа, модели допрашивающего, имитирующей поведение пользователя, и модели судьи, оценивающей качество беседы. Мы провели эксперименты, сравнивая автоматизированные оценки с аннотациями людей, чтобы подтвердить наш подход, продемонстрировав сильные корреляции по нескольким критериям. Эта работа предоставляет основу для надежной и динамичной оценки возможностей модели в интерактивных сценариях.

English

We introduce a novel benchmark for evaluating the role-playing capabilities of language models. Our approach leverages language models themselves to emulate users in dynamic, multi-turn conversations and to assess the resulting dialogues. The framework consists of three main components: a player model assuming a specific character role, an interrogator model simulating user behavior, and a judge model evaluating conversation quality. We conducted experiments comparing automated evaluations with human annotations to validate our approach, demonstrating strong correlations across multiple criteria. This work provides a foundation for a robust and dynamic evaluation of model capabilities in interactive scenarios.