Animeer Iedereen 2: Karakterafbeeldingsanimatie met Hoge Fideliteit en Omgevingsmogelijkheden

Animate Anyone 2: High-Fidelity Character Image Animation with Environment Affordance

February 10, 2025

Auteurs: Li Hu, Guangyuan Wang, Zhen Shen, Xin Gao, Dechao Meng, Lian Zhuo, Peng Zhang, Bang Zhang, Liefeng Bo

cs.AI

Samenvatting

Recente methoden voor het animeren van karakterafbeeldingen op basis van diffusiemodellen, zoals Animate Anyone, hebben aanzienlijke vooruitgang geboekt bij het genereren van consistente en generaliseerbare karakteranimaties. Deze benaderingen falen echter om redelijke associaties tussen karakters en hun omgeving te produceren. Om deze beperking aan te pakken, introduceren we Animate Anyone 2, met als doel karakters te animeren met omgevingsaffordantie. Naast het extraheren van bewegingssignalen uit de bronvideo, leggen we ook omgevingsrepresentaties vast als conditionele invoer. De omgeving wordt geformuleerd als het gebied met uitsluiting van karakters en ons model genereert karakters om deze gebieden te bevolken terwijl coherentie met de omgevingscontext wordt behouden. We stellen een vormagnostische maskerstrategie voor die de relatie tussen karakter en omgeving effectiever karakteriseert. Bovendien, om de geloofwaardigheid van objectinteracties te verbeteren, maken we gebruik van een objectgeleider om kenmerken van interactieve objecten te extraheren en passen we ruimtelijke vermenging toe voor kenmerkinjectie. We introduceren ook een houdingmodulatiestrategie die het model in staat stelt om met meer diverse bewegingspatronen om te gaan. Experimentele resultaten tonen de superieure prestaties van de voorgestelde methode aan.

English

Recent character image animation methods based on diffusion models, such as Animate Anyone, have made significant progress in generating consistent and generalizable character animations. However, these approaches fail to produce reasonable associations between characters and their environments. To address this limitation, we introduce Animate Anyone 2, aiming to animate characters with environment affordance. Beyond extracting motion signals from source video, we additionally capture environmental representations as conditional inputs. The environment is formulated as the region with the exclusion of characters and our model generates characters to populate these regions while maintaining coherence with the environmental context. We propose a shape-agnostic mask strategy that more effectively characterizes the relationship between character and environment. Furthermore, to enhance the fidelity of object interactions, we leverage an object guider to extract features of interacting objects and employ spatial blending for feature injection. We also introduce a pose modulation strategy that enables the model to handle more diverse motion patterns. Experimental results demonstrate the superior performance of the proposed method.