Um Disparo, Uma Conversa: Avatar de Conversação de Corpo Inteiro a partir de uma Única Imagem

One Shot, One Talk: Whole-body Talking Avatar from a Single Image

December 2, 2024

Autores: Jun Xiang, Yudong Guo, Leipeng Hu, Boyang Guo, Yancheng Yuan, Juyong Zhang

cs.AI

Resumo

A construção de avatares realistas e animáveis ainda requer minutos de vídeos de auto-rotação multi-vista ou monocular, e a maioria dos métodos carece de controle preciso sobre gestos e expressões. Para ultrapassar essa fronteira, abordamos o desafio de construir um avatar falante de corpo inteiro a partir de uma única imagem. Propomos um novo pipeline que aborda dois problemas críticos: 1) modelagem dinâmica complexa e 2) generalização para gestos e expressões novos. Para alcançar uma generalização perfeita, aproveitamos modelos de difusão de imagem para vídeo guiados por pose recentes para gerar quadros de vídeo imperfeitos como pseudo-rótulos. Para superar o desafio de modelagem dinâmica apresentado por vídeos pseudo inconsistentes e ruidosos, introduzimos uma representação de avatar híbrida 3DGS-malha fortemente acoplada e aplicamos várias regularizações-chave para mitigar inconsistências causadas por rótulos imperfeitos. Experimentos extensivos em diversos assuntos demonstram que nosso método permite a criação de um avatar falante de corpo inteiro fotorealista, precisamente animável e expressivo a partir de apenas uma única imagem.

English

Building realistic and animatable avatars still requires minutes of multi-view or monocular self-rotating videos, and most methods lack precise control over gestures and expressions. To push this boundary, we address the challenge of constructing a whole-body talking avatar from a single image. We propose a novel pipeline that tackles two critical issues: 1) complex dynamic modeling and 2) generalization to novel gestures and expressions. To achieve seamless generalization, we leverage recent pose-guided image-to-video diffusion models to generate imperfect video frames as pseudo-labels. To overcome the dynamic modeling challenge posed by inconsistent and noisy pseudo-videos, we introduce a tightly coupled 3DGS-mesh hybrid avatar representation and apply several key regularizations to mitigate inconsistencies caused by imperfect labels. Extensive experiments on diverse subjects demonstrate that our method enables the creation of a photorealistic, precisely animatable, and expressive whole-body talking avatar from just a single image.