NIFTY : Champs d'Interaction Neuronaux pour Objets dans la Synthèse Guidée de Mouvements Humains

NIFTY: Neural Object Interaction Fields for Guided Human Motion Synthesis

July 14, 2023

Auteurs: Nilesh Kulkarni, Davis Rempe, Kyle Genova, Abhijit Kundu, Justin Johnson, David Fouhey, Leonidas Guibas

cs.AI

Résumé

Nous abordons le problème de la génération de mouvements humains réalistes en 3D interagissant avec des objets dans une scène. Notre idée clé est de créer un champ d'interaction neuronale attaché à un objet spécifique, qui calcule la distance au collecteur d'interaction valide en prenant une pose humaine comme entrée. Ce champ d'interaction guide l'échantillonnage d'un modèle de diffusion de mouvement humain conditionné par l'objet, afin de favoriser des contacts plausibles et une sémantique d'affordance. Pour prendre en charge les interactions avec des données peu disponibles, nous proposons un pipeline automatisé de données synthétiques. Pour cela, nous initialisons un modèle de mouvement pré-entraîné, qui possède des connaissances a priori sur les bases du mouvement humain, avec des poses d'ancrage spécifiques à l'interaction extraites de données limitées de capture de mouvement. En utilisant notre modèle de diffusion guidé entraîné sur des données synthétiques générées, nous synthétisons des mouvements réalistes pour s'asseoir et soulever avec plusieurs objets, surpassant les approches alternatives en termes de qualité de mouvement et de réussite de l'action. Nous appelons notre cadre NIFTY : Neural Interaction Fields for Trajectory sYnthesis.

English

We address the problem of generating realistic 3D motions of humans interacting with objects in a scene. Our key idea is to create a neural interaction field attached to a specific object, which outputs the distance to the valid interaction manifold given a human pose as input. This interaction field guides the sampling of an object-conditioned human motion diffusion model, so as to encourage plausible contacts and affordance semantics. To support interactions with scarcely available data, we propose an automated synthetic data pipeline. For this, we seed a pre-trained motion model, which has priors for the basics of human movement, with interaction-specific anchor poses extracted from limited motion capture data. Using our guided diffusion model trained on generated synthetic data, we synthesize realistic motions for sitting and lifting with several objects, outperforming alternative approaches in terms of motion quality and successful action completion. We call our framework NIFTY: Neural Interaction Fields for Trajectory sYnthesis.