Video2Roleplay: ビデオ誘導型ロールプレイエージェントのためのマルチモーダルデータセットとフレームワーク

Video2Roleplay: A Multimodal Dataset and Framework for Video-Guided Role-playing Agents

September 17, 2025

著者: Xueqiao Zhang, Chao Zhang, Jingtao Xu, Yifan Zhu, Xin Shi, Yi Yang, Yawei Luo

cs.AI

要旨

ロールプレイングエージェント（RPA）は、没入感のあるインタラクティブなキャラクターをシミュレートする能力から、ますます注目を集めています。しかし、既存のアプローチは主に静的な役割プロファイルに焦点を当てており、人間に内在する動的な知覚能力を見落としています。このギャップを埋めるため、我々はビデオモダリティをRPAに組み込むことで、動的な役割プロファイルという概念を導入します。これをサポートするため、60,000本のビデオと700,000の対応するダイアログからなる大規模で高品質なデータセット「Role-playing-Video60k」を構築しました。このデータセットに基づき、適応的時間サンプリングと動的および静的な役割プロファイル表現を組み合わせた包括的なRPAフレームワークを開発します。具体的には、動的プロファイルはビデオフレームを適応的にサンプリングし、それらを時間順にLLMに供給することで作成され、静的なプロファイルは（1）ファインチューニング中のトレーニングビデオからのキャラクターダイアログと、（2）推論中の入力ビデオからの要約コンテキストで構成されます。この統合により、RPAはより優れた応答を生成できるようになります。さらに、8つのメトリックをカバーする堅牢な評価方法を提案します。実験結果は、我々のフレームワークの有効性を示し、RPAの開発における動的な役割プロファイルの重要性を強調しています。

English

Role-playing agents (RPAs) have attracted growing interest for their ability to simulate immersive and interactive characters. However, existing approaches primarily focus on static role profiles, overlooking the dynamic perceptual abilities inherent to humans. To bridge this gap, we introduce the concept of dynamic role profiles by incorporating video modality into RPAs. To support this, we construct Role-playing-Video60k, a large-scale, high-quality dataset comprising 60k videos and 700k corresponding dialogues. Based on this dataset, we develop a comprehensive RPA framework that combines adaptive temporal sampling with both dynamic and static role profile representations. Specifically, the dynamic profile is created by adaptively sampling video frames and feeding them to the LLM in temporal order, while the static profile consists of (1) character dialogues from training videos during fine-tuning, and (2) a summary context from the input video during inference. This joint integration enables RPAs to generate greater responses. Furthermore, we propose a robust evaluation method covering eight metrics. Experimental results demonstrate the effectiveness of our framework, highlighting the importance of dynamic role profiles in developing RPAs.