NIFTY: Campi di Interazione Neurale per Oggetti nella Sintesi Guidata del Movimento Umano

NIFTY: Neural Object Interaction Fields for Guided Human Motion Synthesis

July 14, 2023

Autori: Nilesh Kulkarni, Davis Rempe, Kyle Genova, Abhijit Kundu, Justin Johnson, David Fouhey, Leonidas Guibas

cs.AI

Abstract

Affrontiamo il problema della generazione di movimenti 3D realistici di esseri umani che interagiscono con oggetti in una scena. La nostra idea chiave è creare un campo di interazione neurale associato a un oggetto specifico, che restituisce la distanza dal manifold di interazione valido dato come input una postura umana. Questo campo di interazione guida il campionamento di un modello di diffusione del movimento umano condizionato dall'oggetto, in modo da favorire contatti plausibili e semantica di affordance. Per supportare interazioni con dati scarsamente disponibili, proponiamo una pipeline automatizzata per la generazione di dati sintetici. A tal fine, inizializziamo un modello di movimento pre-addestrato, che possiede conoscenze pregresse sulle basi del movimento umano, con pose di ancoraggio specifiche per l'interazione estratte da dati limitati di motion capture. Utilizzando il nostro modello di diffusione guidato addestrato su dati sintetici generati, sintetizziamo movimenti realistici per azioni come sedersi e sollevare con diversi oggetti, superando approcci alternativi in termini di qualità del movimento e completamento riuscito dell'azione. Chiamiamo il nostro framework NIFTY: Neural Interaction Fields for Trajectory sYnthesis.

English

We address the problem of generating realistic 3D motions of humans interacting with objects in a scene. Our key idea is to create a neural interaction field attached to a specific object, which outputs the distance to the valid interaction manifold given a human pose as input. This interaction field guides the sampling of an object-conditioned human motion diffusion model, so as to encourage plausible contacts and affordance semantics. To support interactions with scarcely available data, we propose an automated synthetic data pipeline. For this, we seed a pre-trained motion model, which has priors for the basics of human movement, with interaction-specific anchor poses extracted from limited motion capture data. Using our guided diffusion model trained on generated synthetic data, we synthesize realistic motions for sitting and lifting with several objects, outperforming alternative approaches in terms of motion quality and successful action completion. We call our framework NIFTY: Neural Interaction Fields for Trajectory sYnthesis.