NIFTY: Campos de Interação Neural de Objetos para Síntese Guiada de Movimento Humano

NIFTY: Neural Object Interaction Fields for Guided Human Motion Synthesis

July 14, 2023

Autores: Nilesh Kulkarni, Davis Rempe, Kyle Genova, Abhijit Kundu, Justin Johnson, David Fouhey, Leonidas Guibas

cs.AI

Resumo

Abordamos o problema de gerar movimentos 3D realistas de humanos interagindo com objetos em uma cena. Nossa ideia principal é criar um campo de interação neural associado a um objeto específico, que calcula a distância até o manifold de interação válido, dado uma pose humana como entrada. Esse campo de interação orienta a amostragem de um modelo de difusão de movimento humano condicionado ao objeto, de modo a promover contatos plausíveis e semântica de affordance. Para suportar interações com dados escassamente disponíveis, propomos um pipeline automatizado de dados sintéticos. Para isso, inicializamos um modelo de movimento pré-treinado, que possui prioris para os fundamentos do movimento humano, com poses âncora específicas para interação extraídas de dados limitados de captura de movimento. Usando nosso modelo de difusão guiada treinado em dados sintéticos gerados, sintetizamos movimentos realistas para ações como sentar e levantar com vários objetos, superando abordagens alternativas em termos de qualidade do movimento e conclusão bem-sucedida da ação. Chamamos nosso framework de NIFTY: Neural Interaction Fields for Trajectory sYnthesis.

English

We address the problem of generating realistic 3D motions of humans interacting with objects in a scene. Our key idea is to create a neural interaction field attached to a specific object, which outputs the distance to the valid interaction manifold given a human pose as input. This interaction field guides the sampling of an object-conditioned human motion diffusion model, so as to encourage plausible contacts and affordance semantics. To support interactions with scarcely available data, we propose an automated synthetic data pipeline. For this, we seed a pre-trained motion model, which has priors for the basics of human movement, with interaction-specific anchor poses extracted from limited motion capture data. Using our guided diffusion model trained on generated synthetic data, we synthesize realistic motions for sitting and lifting with several objects, outperforming alternative approaches in terms of motion quality and successful action completion. We call our framework NIFTY: Neural Interaction Fields for Trajectory sYnthesis.