AnchorCrafter: Animiere CyberAnchors zum Verkauf Ihrer Produkte über die Generierung von Videos mit menschlichem Objektinteraktion.

AnchorCrafter: Animate CyberAnchors Saling Your Products via Human-Object Interacting Video Generation

November 26, 2024

Autoren: Ziyi Xu, Ziyao Huang, Juan Cao, Yong Zhang, Xiaodong Cun, Qing Shuai, Yuchen Wang, Linchao Bao, Jintao Li, Fan Tang

cs.AI

Zusammenfassung

Die automatische Generierung von Anchor-Style Produktwerbevideos bietet vielversprechende Möglichkeiten im Online-Handel, der Werbung und der Kundenbindung. Dennoch bleibt dies eine anspruchsvolle Aufgabe trotz signifikanter Fortschritte in der posegeführten Generierung von menschlichen Videos. Bei der Bewältigung dieser Herausforderung identifizieren wir die Integration von menschlich-objektbezogenen Interaktionen (HOI) in die posegeführte Generierung von menschlichen Videos als zentrales Problem. Zu diesem Zweck stellen wir AnchorCrafter vor, ein neuartiges, diffusionsbasiertes System, das darauf ausgelegt ist, 2D-Videos mit einem Zielmenschen und einem individuellen Objekt zu generieren, um eine hohe visuelle Treue und steuerbare Interaktionen zu erreichen. Insbesondere schlagen wir zwei Schlüsselinnovationen vor: die HOI-Erscheinungswahrnehmung, die die Objekterscheinungserkennung aus beliebigen Multi-View-Perspektiven verbessert und Objekt- und menschliche Erscheinungen voneinander trennt, sowie die HOI-Bewegungsinjektion, die komplexe menschlich-objektbezogene Interaktionen ermöglicht, indem Herausforderungen bei der Objekttrajektorienkonditionierung und der Interokklusionsverwaltung überwunden werden. Darüber hinaus führen wir den HOI-Regionen-Neugewichtungsverlust ein, ein Schulungsziel, das das Erlernen von Objektdetails verbessert. Umfangreiche Experimente zeigen, dass unser vorgeschlagenes System bestehende Methoden in der Bewahrung der Objekterscheinung und Formbewusstsein übertrifft, während gleichzeitig die Konsistenz in der menschlichen Erscheinung und Bewegung beibehalten wird. Projektpage: https://cangcz.github.io/Anchor-Crafter/

English

The automatic generation of anchor-style product promotion videos presents promising opportunities in online commerce, advertising, and consumer engagement. However, this remains a challenging task despite significant advancements in pose-guided human video generation. In addressing this challenge, we identify the integration of human-object interactions (HOI) into pose-guided human video generation as a core issue. To this end, we introduce AnchorCrafter, a novel diffusion-based system designed to generate 2D videos featuring a target human and a customized object, achieving high visual fidelity and controllable interactions. Specifically, we propose two key innovations: the HOI-appearance perception, which enhances object appearance recognition from arbitrary multi-view perspectives and disentangles object and human appearance, and the HOI-motion injection, which enables complex human-object interactions by overcoming challenges in object trajectory conditioning and inter-occlusion management. Additionally, we introduce the HOI-region reweighting loss, a training objective that enhances the learning of object details. Extensive experiments demonstrate that our proposed system outperforms existing methods in preserving object appearance and shape awareness, while simultaneously maintaining consistency in human appearance and motion. Project page: https://cangcz.github.io/Anchor-Crafter/