Tora2 : Transformer de diffusion personnalisé pour le mouvement et l'apparence dans la génération vidéo multi-entités

Tora2: Motion and Appearance Customized Diffusion Transformer for Multi-Entity Video Generation

July 8, 2025

papers.authors: Zhenghao Zhang, Junchao Liao, Xiangyu Meng, Long Qin, Weizhi Wang

cs.AI

papers.abstract

Les récentes avancées dans les modèles de transformateurs à diffusion pour la génération de vidéos guidées par le mouvement, tels que Tora, ont montré des progrès significatifs. Dans cet article, nous présentons Tora2, une version améliorée de Tora, qui introduit plusieurs améliorations de conception pour étendre ses capacités en matière de personnalisation de l'apparence et du mouvement. Plus précisément, nous introduisons un extracteur de personnalisation découplé qui génère des embeddings de personnalisation complets pour plusieurs entités à ensemble ouvert, préservant mieux les détails visuels fins par rapport aux méthodes précédentes. Sur cette base, nous concevons un mécanisme d'auto-attention à porte pour intégrer la trajectoire, la description textuelle et les informations visuelles pour chaque entité. Cette innovation réduit considérablement les désalignements dans le conditionnement multimodal pendant l'entraînement. De plus, nous introduisons une fonction de perte contrastive qui optimise conjointement la dynamique de la trajectoire et la cohérence des entités grâce à un mappage explicite entre les embeddings de mouvement et de personnalisation. Tora2 est, à notre connaissance, la première méthode à réaliser une personnalisation simultanée de l'apparence et du mouvement pour plusieurs entités dans la génération de vidéos. Les résultats expérimentaux démontrent que Tora2 atteint des performances compétitives avec les méthodes de personnalisation de pointe tout en offrant des capacités avancées de contrôle du mouvement, ce qui marque une avancée critique dans la génération de vidéos multi-conditionnelles. Page du projet : https://github.com/alibaba/Tora.

English

Recent advances in diffusion transformer models for motion-guided video generation, such as Tora, have shown significant progress. In this paper, we present Tora2, an enhanced version of Tora, which introduces several design improvements to expand its capabilities in both appearance and motion customization. Specifically, we introduce a decoupled personalization extractor that generates comprehensive personalization embeddings for multiple open-set entities, better preserving fine-grained visual details compared to previous methods. Building on this, we design a gated self-attention mechanism to integrate trajectory, textual description, and visual information for each entity. This innovation significantly reduces misalignment in multimodal conditioning during training. Moreover, we introduce a contrastive loss that jointly optimizes trajectory dynamics and entity consistency through explicit mapping between motion and personalization embeddings. Tora2 is, to our best knowledge, the first method to achieve simultaneous multi-entity customization of appearance and motion for video generation. Experimental results demonstrate that Tora2 achieves competitive performance with state-of-the-art customization methods while providing advanced motion control capabilities, which marks a critical advancement in multi-condition video generation. Project page: https://github.com/alibaba/Tora .