OpenCharacter: 大規模合成人物像を用いたカスタマイズ可能な役割プレイLLMのトレーニング

OpenCharacter: Training Customizable Role-Playing LLMs with Large-Scale Synthetic Personas

January 26, 2025

著者: Xiaoyang Wang, Hongming Zhang, Tao Ge, Wenhao Yu, Dian Yu, Dong Yu

cs.AI

要旨

大規模言語モデル（LLM）におけるカスタマイズ可能な役割演技、またはキャラクター汎化としても知られるものは、役割演技対話エージェントの開発と展開において、その汎用性とコスト効率の高さからますます注目されています。本研究では、大規模データ合成アプローチを探求し、LLMにキャラクター汎化能力を付与することを目的としています。まず、Persona Hubからのペルソナを使用して大規模なキャラクタープロファイルを合成し、その後、応答の書き直しと応答生成の2つの戦略を探求し、キャラクターに合った指示応答を作成します。我々の合成指示チューニングデータがキャラクター汎化の効果を検証するために、LLaMA-3 8Bモデルを用いた教師ありファインチューニング（SFT）を行います。最も優れたモデルは、元のLLaMA-3 8B Instructモデルを強化し、役割演技対話においてGPT-4oモデルと同等の性能を達成します。我々は、公共の研究を支援するために、合成キャラクターと指示チューニング対話を公開します。

English

Customizable role-playing in large language models (LLMs), also known as character generalization, is gaining increasing attention for its versatility and cost-efficiency in developing and deploying role-playing dialogue agents. This study explores a large-scale data synthesis approach to equip LLMs with character generalization capabilities. We begin by synthesizing large-scale character profiles using personas from Persona Hub and then explore two strategies: response rewriting and response generation, to create character-aligned instructional responses. To validate the effectiveness of our synthetic instruction tuning data for character generalization, we perform supervised fine-tuning (SFT) using the LLaMA-3 8B model. Our best-performing model strengthens the original LLaMA-3 8B Instruct model and achieves performance comparable to GPT-4o models on role-playing dialogue. We release our synthetic characters and instruction-tuning dialogues to support public research.