CoDance : Un paradigme de déliaison-reliaison pour une animation multi-sujet robuste

CoDance: An Unbind-Rebind Paradigm for Robust Multi-Subject Animation

January 16, 2026

papers.authors: Shuai Tan, Biao Gong, Ke Ma, Yutong Feng, Qiyuan Zhang, Yan Wang, Yujun Shen, Hengshuang Zhao

cs.AI

papers.abstract

L'animation d'images de personnages gagne une importance considérable dans divers domaines, portée par la demande de rendu multi-sujets robuste et flexible. Si les méthodes existantes excellent dans l'animation mono-personnage, elles peinent à gérer un nombre arbitraire de sujets, des types de personnages divers et un désalignement spatial entre l'image de référence et les poses d'animation. Nous attribuons ces limitations à une liaison spatiale excessivement rigide imposant un alignement pixel à pixel strict entre la pose et la référence, et à une incapacité à reassocier systématiquement le mouvement aux sujets cibles. Pour relever ces défis, nous proposons CoDance, un nouveau cadre Unbind-Rebind permettant d'animer un nombre arbitraire de sujets, des types variés et des configurations spatiales conditionnées par une séquence de poses unique et potentiellement désalignée. Concrètement, le module Unbind utilise un nouvel encodeur de décalage de pose pour rompre la liaison spatiale rigide entre la pose et la référence en introduisant des perturbations stochastiques sur les poses et leurs caractéristiques latentes, contraignant ainsi le modèle à apprendre une représentation motrice indépendante de la localisation. Pour garantir un contrôle précis et une association des sujets, nous concevons ensuite un module Rebind, exploitant un guidage sémantique via des invites textuelles et un guidage spatial via des masques de sujets pour diriger le mouvement appris vers les personnages ciblés. De plus, pour faciliter une évaluation exhaustive, nous introduisons un nouveau benchmark multi-sujets, CoDanceBench. Des expériences approfondies sur CoDanceBench et des jeux de données existants montrent que CoDance atteint des performances à l'état de l'art, faisant preuve d'une généralisation remarquable sur des sujets divers et des dispositions spatiales variées. Le code et les poids seront rendus publics.

English

Character image animation is gaining significant importance across various domains, driven by the demand for robust and flexible multi-subject rendering. While existing methods excel in single-person animation, they struggle to handle arbitrary subject counts, diverse character types, and spatial misalignment between the reference image and the driving poses. We attribute these limitations to an overly rigid spatial binding that forces strict pixel-wise alignment between the pose and reference, and an inability to consistently rebind motion to intended subjects. To address these challenges, we propose CoDance, a novel Unbind-Rebind framework that enables the animation of arbitrary subject counts, types, and spatial configurations conditioned on a single, potentially misaligned pose sequence. Specifically, the Unbind module employs a novel pose shift encoder to break the rigid spatial binding between the pose and the reference by introducing stochastic perturbations to both poses and their latent features, thereby compelling the model to learn a location-agnostic motion representation. To ensure precise control and subject association, we then devise a Rebind module, leveraging semantic guidance from text prompts and spatial guidance from subject masks to direct the learned motion to intended characters. Furthermore, to facilitate comprehensive evaluation, we introduce a new multi-subject CoDanceBench. Extensive experiments on CoDanceBench and existing datasets show that CoDance achieves SOTA performance, exhibiting remarkable generalization across diverse subjects and spatial layouts. The code and weights will be open-sourced.