AnchorCrafter: 人間と物体が相互作用するビデオ生成を通じて製品を販売するためのサイバーアンカーをアニメーション化します

AnchorCrafter: Animate CyberAnchors Saling Your Products via Human-Object Interacting Video Generation

November 26, 2024

著者: Ziyi Xu, Ziyao Huang, Juan Cao, Yong Zhang, Xiaodong Cun, Qing Shuai, Yuchen Wang, Linchao Bao, Jintao Li, Fan Tang

cs.AI

要旨

アンカースタイルの商品プロモーションビデオの自動生成は、オンライン商取引、広告、および消費者エンゲージメントにおいて有望な機会を提供しています。しかし、ポーズに誘導された人間のビデオ生成の重要な進展にもかかわらず、これは依然として困難な課題です。この課題に取り組む中で、人間と物体の相互作用（HOI）をポーズに誘導された人間のビデオ生成に統合することを中心的な問題として特定します。このために、高い視覚的忠実度と制御可能な相互作用を実現する、対象の人間とカスタマイズされた物体をフィーチャーした2Dビデオを生成するために設計された新しい拡散ベースのシステムであるAnchorCrafterを紹介します。具体的には、任意の多視点からの物体の外観認識を向上させ、物体と人間の外観を分離するHOI-外観知覚と、物体の軌道条件付けや相互遮蔽管理の課題を克服することで複雑な人間と物体の相互作用を可能にするHOI-モーションインジェクションという2つの主要な革新を提案します。さらに、オブジェクトの詳細の学習を向上させるトレーニング目的であるHOI-領域再重み付け損失を導入します。広範な実験により、提案されたシステムが既存の方法よりも物体の外観と形状認識を維持し、同時に人間の外観と動きの一貫性を維持することが示されました。プロジェクトページ：https://cangcz.github.io/Anchor-Crafter/

English

The automatic generation of anchor-style product promotion videos presents promising opportunities in online commerce, advertising, and consumer engagement. However, this remains a challenging task despite significant advancements in pose-guided human video generation. In addressing this challenge, we identify the integration of human-object interactions (HOI) into pose-guided human video generation as a core issue. To this end, we introduce AnchorCrafter, a novel diffusion-based system designed to generate 2D videos featuring a target human and a customized object, achieving high visual fidelity and controllable interactions. Specifically, we propose two key innovations: the HOI-appearance perception, which enhances object appearance recognition from arbitrary multi-view perspectives and disentangles object and human appearance, and the HOI-motion injection, which enables complex human-object interactions by overcoming challenges in object trajectory conditioning and inter-occlusion management. Additionally, we introduce the HOI-region reweighting loss, a training objective that enhances the learning of object details. Extensive experiments demonstrate that our proposed system outperforms existing methods in preserving object appearance and shape awareness, while simultaneously maintaining consistency in human appearance and motion. Project page: https://cangcz.github.io/Anchor-Crafter/