AnchorCrafter : Animer les CyberAncres pour Vendre Vos Produits via la Génération de Vidéos Interagissant avec des Humains-Objets

AnchorCrafter: Animate CyberAnchors Saling Your Products via Human-Object Interacting Video Generation

November 26, 2024

Auteurs: Ziyi Xu, Ziyao Huang, Juan Cao, Yong Zhang, Xiaodong Cun, Qing Shuai, Yuchen Wang, Linchao Bao, Jintao Li, Fan Tang

cs.AI

Résumé

La génération automatique de vidéos de promotion de produits de style ancre présente des opportunités prometteuses dans le commerce en ligne, la publicité et l'engagement des consommateurs. Cependant, cela reste une tâche difficile malgré les avancées significatives dans la génération de vidéos humaines guidées par la pose. Pour relever ce défi, nous identifions l'intégration des interactions humain-objet (HOI) dans la génération de vidéos humaines guidées par la pose comme un problème central. À cette fin, nous présentons AnchorCrafter, un nouveau système basé sur la diffusion conçu pour générer des vidéos 2D mettant en scène un humain cible et un objet personnalisé, atteignant une haute fidélité visuelle et des interactions contrôlables. Plus précisément, nous proposons deux innovations clés : la perception de l'apparence HOI, qui améliore la reconnaissance de l'apparence de l'objet à partir de perspectives multi-vues arbitraires et démêle l'apparence de l'objet et de l'humain, et l'injection de mouvement HOI, qui permet des interactions complexes entre humain et objet en surmontant les défis liés à la condition de trajectoire de l'objet et à la gestion de l'inter-occlusion. De plus, nous introduisons la perte de rééquilibrage de région HOI, un objectif d'entraînement qui améliore l'apprentissage des détails de l'objet. Des expériences approfondies démontrent que notre système proposé surpasse les méthodes existantes en préservant l'apparence et la conscience de la forme de l'objet, tout en maintenant simultanément la cohérence dans l'apparence et le mouvement humains. Page du projet : https://cangcz.github.io/Anchor-Crafter/

English

The automatic generation of anchor-style product promotion videos presents promising opportunities in online commerce, advertising, and consumer engagement. However, this remains a challenging task despite significant advancements in pose-guided human video generation. In addressing this challenge, we identify the integration of human-object interactions (HOI) into pose-guided human video generation as a core issue. To this end, we introduce AnchorCrafter, a novel diffusion-based system designed to generate 2D videos featuring a target human and a customized object, achieving high visual fidelity and controllable interactions. Specifically, we propose two key innovations: the HOI-appearance perception, which enhances object appearance recognition from arbitrary multi-view perspectives and disentangles object and human appearance, and the HOI-motion injection, which enables complex human-object interactions by overcoming challenges in object trajectory conditioning and inter-occlusion management. Additionally, we introduce the HOI-region reweighting loss, a training objective that enhances the learning of object details. Extensive experiments demonstrate that our proposed system outperforms existing methods in preserving object appearance and shape awareness, while simultaneously maintaining consistency in human appearance and motion. Project page: https://cangcz.github.io/Anchor-Crafter/