Animiere Jeden 2: Hochauflösende Charakterbildanimation mit Umgebungszugänglichkeit

Animate Anyone 2: High-Fidelity Character Image Animation with Environment Affordance

February 10, 2025

Autoren: Li Hu, Guangyuan Wang, Zhen Shen, Xin Gao, Dechao Meng, Lian Zhuo, Peng Zhang, Bang Zhang, Liefeng Bo

cs.AI

Zusammenfassung

Aktuelle Methoden zur Animation von Charakterbildern auf Basis von Diffusionsmodellen, wie z.B. "Animate Anyone", haben bedeutende Fortschritte bei der Erzeugung konsistenter und generalisierbarer Charakteranimationen erzielt. Diese Ansätze scheitern jedoch daran, vernünftige Verknüpfungen zwischen Charakteren und ihrer Umgebung zu erzeugen. Um diese Einschränkung zu überwinden, stellen wir "Animate Anyone 2" vor, das darauf abzielt, Charaktere mit Umgebungsfunktionalität zu animieren. Neben der Extraktion von Bewegungssignalen aus dem Quellvideo erfassen wir zusätzlich Umgebungsrepräsentationen als bedingte Eingaben. Die Umgebung wird als die Region formuliert, die von Charakteren ausgeschlossen ist, und unser Modell generiert Charaktere, um diese Regionen zu bevölkern, während es die Kohärenz mit dem Umgebungskontext aufrechterhält. Wir schlagen eine formagnostische Maskenstrategie vor, die die Beziehung zwischen Charakter und Umgebung effektiver charakterisiert. Darüber hinaus nutzen wir zur Verbesserung der Genauigkeit von Objektinteraktionen einen Objektführer, um Merkmale der interagierenden Objekte zu extrahieren, und verwenden räumliches Mischen für Merkmalseinspritzung. Wir führen auch eine Pose-Modulationsstrategie ein, die es dem Modell ermöglicht, mit vielfältigeren Bewegungsmustern umzugehen. Experimentelle Ergebnisse zeigen die überlegene Leistung der vorgeschlagenen Methode.

English

Recent character image animation methods based on diffusion models, such as Animate Anyone, have made significant progress in generating consistent and generalizable character animations. However, these approaches fail to produce reasonable associations between characters and their environments. To address this limitation, we introduce Animate Anyone 2, aiming to animate characters with environment affordance. Beyond extracting motion signals from source video, we additionally capture environmental representations as conditional inputs. The environment is formulated as the region with the exclusion of characters and our model generates characters to populate these regions while maintaining coherence with the environmental context. We propose a shape-agnostic mask strategy that more effectively characterizes the relationship between character and environment. Furthermore, to enhance the fidelity of object interactions, we leverage an object guider to extract features of interacting objects and employ spatial blending for feature injection. We also introduce a pose modulation strategy that enables the model to handle more diverse motion patterns. Experimental results demonstrate the superior performance of the proposed method.