UnityVideo : Apprentissage unifié multimodal et multitâche pour améliorer la génération de vidéos consciente du monde
UnityVideo: Unified Multi-Modal Multi-Task Learning for Enhancing World-Aware Video Generation
December 8, 2025
papers.authors: Jiehui Huang, Yuechen Zhang, Xu He, Yuan Gao, Zhi Cen, Bin Xia, Yan Zhou, Xin Tao, Pengfei Wan, Jiaya Jia
cs.AI
papers.abstract
Les modèles récents de génération vidéo démontrent des capacités de synthèse impressionnantes mais restent limités par un conditionnement unimodal, ce qui restreint leur compréhension holistique du monde. Cette limitation provient d'une interaction cross-modale insuffisante et d'une diversité modale limitée pour une représentation complète des connaissances du monde. Pour résoudre ces problèmes, nous présentons UnityVideo, un framework unifié pour la génération vidéo consciente du monde qui apprend conjointement à partir de multiples modalités (masques de segmentation, squelettes humains, DensePose, flux optique et cartes de profondeur) et de paradigmes d'entraînement. Notre approche comporte deux composants principaux : (1) un bruitage dynamique pour unifier les paradigmes d'entraînement hétérogènes, et (2) un commutateur de modalité avec un apprenant contextuel qui permet un traitement unifié via des paramètres modulaires et un apprentissage contextuel. Nous contribuons avec un jeu de données unifié à grandechelle contenant 1,3 million d'échantillons. Grâce à une optimisation conjointe, UnityVideo accélère la convergence et améliore significativement la généralisation à zéro-shot sur des données non vues. Nous démontrons qu'UnityVideo atteint une qualité vidéo supérieure, une meilleure cohérence et une meilleure adéquation avec les contraintes du monde physique. Le code et les données sont disponibles à l'adresse : https://github.com/dvlab-research/UnityVideo
English
Recent video generation models demonstrate impressive synthesis capabilities but remain limited by single-modality conditioning, constraining their holistic world understanding. This stems from insufficient cross-modal interaction and limited modal diversity for comprehensive world knowledge representation. To address these limitations, we introduce UnityVideo, a unified framework for world-aware video generation that jointly learns across multiple modalities (segmentation masks, human skeletons, DensePose, optical flow, and depth maps) and training paradigms. Our approach features two core components: (1) dynamic noising to unify heterogeneous training paradigms, and (2) a modality switcher with an in-context learner that enables unified processing via modular parameters and contextual learning. We contribute a large-scale unified dataset with 1.3M samples. Through joint optimization, UnityVideo accelerates convergence and significantly enhances zero-shot generalization to unseen data. We demonstrate that UnityVideo achieves superior video quality, consistency, and improved alignment with physical world constraints. Code and data can be found at: https://github.com/dvlab-research/UnityVideo