Tri-Prompting : Diffusion vidéographique avec contrôle unifié de la scène, du sujet et du mouvement
Tri-Prompting: Video Diffusion with Unified Control over Scene, Subject, and Motion
March 16, 2026
Auteurs: Zhenghong Zhou, Xiaohang Zhan, Zhiqin Chen, Soo Ye Kim, Nanxuan Zhao, Haitian Zheng, Qing Liu, He Zhang, Zhe Lin, Yuqian Zhou, Jiebo Luo
cs.AI
Résumé
Les modèles récents de diffusion vidéo ont accompli des progrès remarquables en qualité visuelle, mais le contrôle précis et granulaire reste un goulot d'étranglement clé limitant la personnalisation pratique pour la création de contenu. Pour les créateurs de vidéos IA, trois formes de contrôle sont cruciales : (i) la composition scénique, (ii) la personnalisation cohérente multi-vues du sujet, et (iii) l'ajustement de la pose de caméra ou du mouvement d'objet. Les méthodes existantes traitent généralement ces dimensions de manière isolée, avec un support limité pour la synthèse de sujets multi-vues et la préservation de l'identité sous des changements de pose arbitraires. Cette absence d'architecture unifiée rend difficile la prise en charge d'une vidéo polyvalente et conjointement contrôlable. Nous présentons Tri-Prompting, un cadre unifié et un paradigme d'entraînement en deux étapes qui intègre la composition scénique, la cohérence multi-vues du sujet et le contrôle du mouvement. Notre approche exploite un module de mouvement à double conditionnement piloté par des points de suivi 3D pour les arrière-plans et des indices RVB sous-échantillonnés pour les sujets au premier plan. Pour assurer un équilibre entre contrôlabilité et réalisme visuel, nous proposons en outre une planification d'échelle ControlNet pour l'inférence. Tri-Prompting prend en charge de nouveaux workflows, incluant l'insertion 3D-aware de sujets dans des scènes arbitraires et la manipulation de sujets existants dans une image. Les résultats expérimentaux démontrent que Tri-Prompting surpasse significativement des méthodes spécialisées comme Phantom et DaS en matière d'identité du sujet multi-vues, de cohérence 3D et de précision du mouvement.
English
Recent video diffusion models have made remarkable strides in visual quality, yet precise, fine-grained control remains a key bottleneck that limits practical customizability for content creation. For AI video creators, three forms of control are crucial: (i) scene composition, (ii) multi-view consistent subject customization, and (iii) camera-pose or object-motion adjustment. Existing methods typically handle these dimensions in isolation, with limited support for multi-view subject synthesis and identity preservation under arbitrary pose changes. This lack of a unified architecture makes it difficult to support versatile, jointly controllable video. We introduce Tri-Prompting, a unified framework and two-stage training paradigm that integrates scene composition, multi-view subject consistency, and motion control. Our approach leverages a dual-condition motion module driven by 3D tracking points for background scenes and downsampled RGB cues for foreground subjects. To ensure a balance between controllability and visual realism, we further propose an inference ControlNet scale schedule. Tri-Prompting supports novel workflows, including 3D-aware subject insertion into any scenes and manipulation of existing subjects in an image. Experimental results demonstrate that Tri-Prompting significantly outperforms specialized baselines such as Phantom and DaS in multi-view subject identity, 3D consistency, and motion accuracy.