Video2Roleplay: Um Conjunto de Dados Multimodal e Estrutura para Agentes de Roleplay Guiados por Vídeo

Video2Roleplay: A Multimodal Dataset and Framework for Video-Guided Role-playing Agents

September 17, 2025

Autores: Xueqiao Zhang, Chao Zhang, Jingtao Xu, Yifan Zhu, Xin Shi, Yi Yang, Yawei Luo

cs.AI

Resumo

Agentes de role-playing (RPAs) têm atraído crescente interesse por sua capacidade de simular personagens imersivos e interativos. No entanto, as abordagens existentes focam principalmente em perfis de papel estáticos, negligenciando as habilidades perceptivas dinâmicas inerentes aos seres humanos. Para preencher essa lacuna, introduzimos o conceito de perfis de papel dinâmicos ao incorporar a modalidade de vídeo aos RPAs. Para apoiar isso, construímos o Role-playing-Video60k, um conjunto de dados em larga escala e de alta qualidade, composto por 60 mil vídeos e 700 mil diálogos correspondentes. Com base nesse conjunto de dados, desenvolvemos um framework abrangente de RPA que combina amostragem temporal adaptativa com representações de perfis de papel dinâmicos e estáticos. Especificamente, o perfil dinâmico é criado ao amostrar adaptativamente quadros de vídeo e alimentá-los ao LLM em ordem temporal, enquanto o perfil estático consiste em (1) diálogos de personagens dos vídeos de treinamento durante o ajuste fino e (2) um contexto resumido do vídeo de entrada durante a inferência. Essa integração conjunta permite que os RPAs gerem respostas mais ricas. Além disso, propomos um método robusto de avaliação que abrange oito métricas. Os resultados experimentais demonstram a eficácia do nosso framework, destacando a importância dos perfis de papel dinâmicos no desenvolvimento de RPAs.

English

Role-playing agents (RPAs) have attracted growing interest for their ability to simulate immersive and interactive characters. However, existing approaches primarily focus on static role profiles, overlooking the dynamic perceptual abilities inherent to humans. To bridge this gap, we introduce the concept of dynamic role profiles by incorporating video modality into RPAs. To support this, we construct Role-playing-Video60k, a large-scale, high-quality dataset comprising 60k videos and 700k corresponding dialogues. Based on this dataset, we develop a comprehensive RPA framework that combines adaptive temporal sampling with both dynamic and static role profile representations. Specifically, the dynamic profile is created by adaptively sampling video frames and feeding them to the LLM in temporal order, while the static profile consists of (1) character dialogues from training videos during fine-tuning, and (2) a summary context from the input video during inference. This joint integration enables RPAs to generate greater responses. Furthermore, we propose a robust evaluation method covering eight metrics. Experimental results demonstrate the effectiveness of our framework, highlighting the importance of dynamic role profiles in developing RPAs.