Video2Roleplay: Un Dataset e Framework Multimodale per Agenti di Roleplay Guidati da Video

Video2Roleplay: A Multimodal Dataset and Framework for Video-Guided Role-playing Agents

September 17, 2025

Autori: Xueqiao Zhang, Chao Zhang, Jingtao Xu, Yifan Zhu, Xin Shi, Yi Yang, Yawei Luo

cs.AI

Abstract

Gli agenti di role-playing (RPAs) hanno attratto un crescente interesse per la loro capacità di simulare personaggi immersivi e interattivi. Tuttavia, gli approcci esistenti si concentrano principalmente su profili di ruolo statici, trascurando le abilità percettive dinamiche intrinseche agli esseri umani. Per colmare questa lacuna, introduciamo il concetto di profili di ruolo dinamici incorporando la modalità video negli RPAs. A supporto di ciò, costruiamo Role-playing-Video60k, un dataset su larga scala e di alta qualità composto da 60k video e 700k dialoghi corrispondenti. Basandoci su questo dataset, sviluppiamo un framework RPA completo che combina il campionamento temporale adattivo con rappresentazioni sia dinamiche che statiche dei profili di ruolo. Nello specifico, il profilo dinamico viene creato campionando in modo adattivo i fotogrammi video e alimentandoli al LLM in ordine temporale, mentre il profilo statico consiste in (1) dialoghi dei personaggi tratti dai video di training durante il fine-tuning, e (2) un contesto riassuntivo del video di input durante l'inferenza. Questa integrazione congiunta consente agli RPAs di generare risposte più efficaci. Inoltre, proponiamo un metodo di valutazione robusto che copre otto metriche. I risultati sperimentali dimostrano l'efficacia del nostro framework, evidenziando l'importanza dei profili di ruolo dinamici nello sviluppo degli RPAs.

English

Role-playing agents (RPAs) have attracted growing interest for their ability to simulate immersive and interactive characters. However, existing approaches primarily focus on static role profiles, overlooking the dynamic perceptual abilities inherent to humans. To bridge this gap, we introduce the concept of dynamic role profiles by incorporating video modality into RPAs. To support this, we construct Role-playing-Video60k, a large-scale, high-quality dataset comprising 60k videos and 700k corresponding dialogues. Based on this dataset, we develop a comprehensive RPA framework that combines adaptive temporal sampling with both dynamic and static role profile representations. Specifically, the dynamic profile is created by adaptively sampling video frames and feeding them to the LLM in temporal order, while the static profile consists of (1) character dialogues from training videos during fine-tuning, and (2) a summary context from the input video during inference. This joint integration enables RPAs to generate greater responses. Furthermore, we propose a robust evaluation method covering eight metrics. Experimental results demonstrate the effectiveness of our framework, highlighting the importance of dynamic role profiles in developing RPAs.