Video2Roleplay: Een Multimodale Dataset en Framework voor Video-Gestuurde Role-playing Agents

Video2Roleplay: A Multimodal Dataset and Framework for Video-Guided Role-playing Agents

September 17, 2025

Auteurs: Xueqiao Zhang, Chao Zhang, Jingtao Xu, Yifan Zhu, Xin Shi, Yi Yang, Yawei Luo

cs.AI

Samenvatting

Role-playing agents (RPAs) hebben steeds meer aandacht gekregen vanwege hun vermogen om meeslepende en interactieve personages te simuleren. Bestaande benaderingen richten zich echter voornamelijk op statische rolprofielen, waarbij de dynamische waarnemingsvaardigheden die inherent zijn aan mensen over het hoofd worden gezien. Om deze kloof te overbruggen, introduceren we het concept van dynamische rolprofielen door de videomodaliteit in RPAs te integreren. Om dit te ondersteunen, hebben we Role-playing-Video60k geconstrueerd, een grootschalige, hoogwaardige dataset bestaande uit 60k video's en 700k bijbehorende dialogen. Op basis van deze dataset ontwikkelen we een uitgebreid RPA-framework dat adaptieve temporele bemonstering combineert met zowel dynamische als statische rolprofielrepresentaties. Specifiek wordt het dynamische profiel gecreëerd door adaptief videoframes te bemonsteren en deze in temporele volgorde aan het LLM te voeden, terwijl het statische profiel bestaat uit (1) karakterdialogen uit trainingsvideo's tijdens fine-tuning, en (2) een samenvattende context uit de invoervideo tijdens inferentie. Deze gezamenlijke integratie stelt RPAs in staat om betere reacties te genereren. Bovendien stellen we een robuuste evaluatiemethode voor die acht metrieken omvat. Experimentele resultaten tonen de effectiviteit van ons framework aan en benadrukken het belang van dynamische rolprofielen bij de ontwikkeling van RPAs.

English

Role-playing agents (RPAs) have attracted growing interest for their ability to simulate immersive and interactive characters. However, existing approaches primarily focus on static role profiles, overlooking the dynamic perceptual abilities inherent to humans. To bridge this gap, we introduce the concept of dynamic role profiles by incorporating video modality into RPAs. To support this, we construct Role-playing-Video60k, a large-scale, high-quality dataset comprising 60k videos and 700k corresponding dialogues. Based on this dataset, we develop a comprehensive RPA framework that combines adaptive temporal sampling with both dynamic and static role profile representations. Specifically, the dynamic profile is created by adaptively sampling video frames and feeding them to the LLM in temporal order, while the static profile consists of (1) character dialogues from training videos during fine-tuning, and (2) a summary context from the input video during inference. This joint integration enables RPAs to generate greater responses. Furthermore, we propose a robust evaluation method covering eight metrics. Experimental results demonstrate the effectiveness of our framework, highlighting the importance of dynamic role profiles in developing RPAs.