AnchorCrafter: Animeer CyberAnkers die uw producten verkopen via Video Generatie van Mens-Object Interactie

AnchorCrafter: Animate CyberAnchors Saling Your Products via Human-Object Interacting Video Generation

November 26, 2024

Auteurs: Ziyi Xu, Ziyao Huang, Juan Cao, Yong Zhang, Xiaodong Cun, Qing Shuai, Yuchen Wang, Linchao Bao, Jintao Li, Fan Tang

cs.AI

Samenvatting

De automatische generatie van ankerstijl productpromotievideo's biedt veelbelovende mogelijkheden in online handel, reclame en consumentenbetrokkenheid. Dit blijft echter een uitdagende taak ondanks significante vooruitgang in door houding geleide menselijke videogeneratie. Bij het aanpakken van deze uitdaging identificeren we de integratie van mens-objectinteracties (HOI) in door houding geleide menselijke videogeneratie als een kernprobleem. Hiertoe introduceren we AnchorCrafter, een nieuw diffusiegebaseerd systeem dat is ontworpen om 2D-video's te genereren met een doelgerichte mens en een aangepast object, waarbij een hoge visuele geloofwaardigheid en controleerbare interacties worden bereikt. Specifiek stellen we twee belangrijke innovaties voor: de HOI-verschijningsperceptie, die de herkenning van objectverschijning verbetert vanuit willekeurige multi-view perspectieven en object- en menselijke verschijning ontkoppelt, en de HOI-bewegingsinjectie, die complexe mens-objectinteracties mogelijk maakt door uitdagingen in objecttrajectconditionering en inter-occlusiebeheer te overwinnen. Daarnaast introduceren we de HOI-gebiedsherwegingsverlies, een trainingsdoel dat het leren van objectdetails verbetert. Uitgebreide experimenten tonen aan dat ons voorgestelde systeem bestaande methoden overtreft in het behouden van objectverschijning en vormbewustzijn, terwijl tegelijkertijd consistentie in menselijke verschijning en beweging wordt gehandhaafd. Projectpagina: https://cangcz.github.io/Anchor-Crafter/

English

The automatic generation of anchor-style product promotion videos presents promising opportunities in online commerce, advertising, and consumer engagement. However, this remains a challenging task despite significant advancements in pose-guided human video generation. In addressing this challenge, we identify the integration of human-object interactions (HOI) into pose-guided human video generation as a core issue. To this end, we introduce AnchorCrafter, a novel diffusion-based system designed to generate 2D videos featuring a target human and a customized object, achieving high visual fidelity and controllable interactions. Specifically, we propose two key innovations: the HOI-appearance perception, which enhances object appearance recognition from arbitrary multi-view perspectives and disentangles object and human appearance, and the HOI-motion injection, which enables complex human-object interactions by overcoming challenges in object trajectory conditioning and inter-occlusion management. Additionally, we introduce the HOI-region reweighting loss, a training objective that enhances the learning of object details. Extensive experiments demonstrate that our proposed system outperforms existing methods in preserving object appearance and shape awareness, while simultaneously maintaining consistency in human appearance and motion. Project page: https://cangcz.github.io/Anchor-Crafter/