DreamHOI: Geração Dirigida por Sujeito de Interações Humanos-Objeto em 3D com Priors de Difusão

DreamHOI: Subject-Driven Generation of 3D Human-Object Interactions with Diffusion Priors

September 12, 2024

Autores: Thomas Hanwen Zhu, Ruining Li, Tomas Jakab

cs.AI

Resumo

Apresentamos o DreamHOI, um método inovador para a síntese de interações humano-objeto (HOIs) sem a necessidade de treinamento, possibilitando que um modelo humano 3D interaja realisticamente com qualquer objeto dado com base em uma descrição textual. Essa tarefa é complicada devido às diferentes categorias e geometrias de objetos do mundo real e à escassez de conjuntos de dados abrangendo diversas HOIs. Para contornar a necessidade de dados extensivos, aproveitamos modelos de difusão texto-imagem treinados em bilhões de pares de imagens e legendas. Otimizamos a articulação de um modelo humano esquelético usando gradientes de Amostragem de Destilação de Pontuação (SDS) obtidos desses modelos, que preveem edições no espaço da imagem. No entanto, retropropagar gradientes do espaço da imagem diretamente para parâmetros de articulação complexos é ineficaz devido à natureza local desses gradientes. Para superar isso, introduzimos uma representação dual implícita-explícita de um modelo esquelético, combinando campos de radiância neural (NeRFs) (implícitos) com articulação de malha impulsionada por esqueleto (explícita). Durante a otimização, transitamos entre formas implícitas e explícitas, fundamentando a geração de NeRF enquanto refinamos a articulação da malha. Validamos nossa abordagem por meio de experimentos extensivos, demonstrando sua eficácia na geração de HOIs realistas.

English

We present DreamHOI, a novel method for zero-shot synthesis of human-object interactions (HOIs), enabling a 3D human model to realistically interact with any given object based on a textual description. This task is complicated by the varying categories and geometries of real-world objects and the scarcity of datasets encompassing diverse HOIs. To circumvent the need for extensive data, we leverage text-to-image diffusion models trained on billions of image-caption pairs. We optimize the articulation of a skinned human mesh using Score Distillation Sampling (SDS) gradients obtained from these models, which predict image-space edits. However, directly backpropagating image-space gradients into complex articulation parameters is ineffective due to the local nature of such gradients. To overcome this, we introduce a dual implicit-explicit representation of a skinned mesh, combining (implicit) neural radiance fields (NeRFs) with (explicit) skeleton-driven mesh articulation. During optimization, we transition between implicit and explicit forms, grounding the NeRF generation while refining the mesh articulation. We validate our approach through extensive experiments, demonstrating its effectiveness in generating realistic HOIs.