Tora2: Trasformatore di Diffusione Personalizzato per Movimento e Aspetto nella Generazione di Video con Entità Multiple

Tora2: Motion and Appearance Customized Diffusion Transformer for Multi-Entity Video Generation

July 8, 2025

Autori: Zhenghao Zhang, Junchao Liao, Xiangyu Meng, Long Qin, Weizhi Wang

cs.AI

Abstract

I recenti progressi nei modelli di trasformatori a diffusione per la generazione di video guidata dal movimento, come Tora, hanno mostrato avanzamenti significativi. In questo articolo, presentiamo Tora2, una versione migliorata di Tora, che introduce diversi miglioramenti progettuali per espandere le sue capacità sia nella personalizzazione dell'aspetto che del movimento. Nello specifico, introduciamo un estrattore di personalizzazione disaccoppiato che genera embedding di personalizzazione completi per più entità a insieme aperto, preservando meglio i dettagli visivi di livello fine rispetto ai metodi precedenti. Basandoci su questo, progettiamo un meccanismo di self-attention gated per integrare traiettoria, descrizione testuale e informazioni visive per ciascuna entità. Questa innovazione riduce significativamente il disallineamento nel condizionamento multimodale durante l'addestramento. Inoltre, introduciamo una funzione di perdita contrastiva che ottimizza congiuntamente la dinamica della traiettoria e la coerenza dell'entità attraverso una mappatura esplicita tra gli embedding di movimento e di personalizzazione. Tora2 è, a nostra conoscenza, il primo metodo a raggiungere la personalizzazione simultanea di aspetto e movimento per più entità nella generazione di video. I risultati sperimentali dimostrano che Tora2 raggiunge prestazioni competitive con i metodi di personalizzazione all'avanguardia, offrendo al contempo capacità avanzate di controllo del movimento, il che rappresenta un progresso critico nella generazione di video multi-condizionale. Pagina del progetto: https://github.com/alibaba/Tora.

English

Recent advances in diffusion transformer models for motion-guided video generation, such as Tora, have shown significant progress. In this paper, we present Tora2, an enhanced version of Tora, which introduces several design improvements to expand its capabilities in both appearance and motion customization. Specifically, we introduce a decoupled personalization extractor that generates comprehensive personalization embeddings for multiple open-set entities, better preserving fine-grained visual details compared to previous methods. Building on this, we design a gated self-attention mechanism to integrate trajectory, textual description, and visual information for each entity. This innovation significantly reduces misalignment in multimodal conditioning during training. Moreover, we introduce a contrastive loss that jointly optimizes trajectory dynamics and entity consistency through explicit mapping between motion and personalization embeddings. Tora2 is, to our best knowledge, the first method to achieve simultaneous multi-entity customization of appearance and motion for video generation. Experimental results demonstrate that Tora2 achieves competitive performance with state-of-the-art customization methods while providing advanced motion control capabilities, which marks a critical advancement in multi-condition video generation. Project page: https://github.com/alibaba/Tora .