AnchorCrafter: Анимация киберякорей для продажи ваших продуктов через генерацию видео взаимодействия человека с объектом.

AnchorCrafter: Animate CyberAnchors Saling Your Products via Human-Object Interacting Video Generation

November 26, 2024

Авторы: Ziyi Xu, Ziyao Huang, Juan Cao, Yong Zhang, Xiaodong Cun, Qing Shuai, Yuchen Wang, Linchao Bao, Jintao Li, Fan Tang

cs.AI

Аннотация

Автоматическое создание видеороликов в стиле якорной продуктовой рекламы предоставляет многообещающие возможности в онлайн-торговле, рекламе и вовлечении потребителей. Однако это остается сложной задачей, несмотря на значительные достижения в генерации видео с управлением позы человека. Для решения этой проблемы мы выделяем интеграцию взаимодействий человек-объект (HOI) в генерацию видео с управлением позы человека как ключевую проблему. В этом контексте мы представляем AnchorCrafter, новую систему на основе диффузии, разработанную для создания 2D видеороликов с участием целевого человека и настраиваемого объекта, обеспечивая высокую визуальную точность и управляемые взаимодействия. Конкретно, мы предлагаем два ключевых инновационных подхода: восприятие внешнего вида HOI, улучшающее распознавание внешнего вида объекта с произвольных многоплоскостных перспектив и разделяющее внешний вид объекта и человека, и инъекцию движения HOI, позволяющую реализовать сложные взаимодействия человек-объект путем преодоления проблем с условиями траектории объекта и управлением межобъектными заслонками. Кроме того, мы представляем потерю перевзвешивания области HOI, целевую функцию обучения, улучшающую изучение деталей объекта. Обширные эксперименты показывают, что наша предложенная система превосходит существующие методы в сохранении внешнего вида и формы объекта, одновременно поддерживая согласованность во внешнем виде и движении человека. Страница проекта: https://cangcz.github.io/Anchor-Crafter/

English

The automatic generation of anchor-style product promotion videos presents promising opportunities in online commerce, advertising, and consumer engagement. However, this remains a challenging task despite significant advancements in pose-guided human video generation. In addressing this challenge, we identify the integration of human-object interactions (HOI) into pose-guided human video generation as a core issue. To this end, we introduce AnchorCrafter, a novel diffusion-based system designed to generate 2D videos featuring a target human and a customized object, achieving high visual fidelity and controllable interactions. Specifically, we propose two key innovations: the HOI-appearance perception, which enhances object appearance recognition from arbitrary multi-view perspectives and disentangles object and human appearance, and the HOI-motion injection, which enables complex human-object interactions by overcoming challenges in object trajectory conditioning and inter-occlusion management. Additionally, we introduce the HOI-region reweighting loss, a training objective that enhances the learning of object details. Extensive experiments demonstrate that our proposed system outperforms existing methods in preserving object appearance and shape awareness, while simultaneously maintaining consistency in human appearance and motion. Project page: https://cangcz.github.io/Anchor-Crafter/