NIFTY: Neurale Object Interactie Velden voor Geleide Menselijke Bewegingssynthese

NIFTY: Neural Object Interaction Fields for Guided Human Motion Synthesis

July 14, 2023

Auteurs: Nilesh Kulkarni, Davis Rempe, Kyle Genova, Abhijit Kundu, Justin Johnson, David Fouhey, Leonidas Guibas

cs.AI

Samenvatting

We behandelen het probleem van het genereren van realistische 3D-bewegingen van mensen die interacteren met objecten in een scène. Onze kernidee is het creëren van een neuraal interactieveld dat aan een specifiek object is gekoppeld, dat de afstand tot het geldige interactiemanifold uitvoert gegeven een menselijke pose als invoer. Dit interactieveld begeleidt de bemonstering van een op objecten geconditioneerd menselijk bewegingsdiffusiemodel, om plausibele contacten en affordance-semantiek te bevorderen. Om interacties met beperkt beschikbare data te ondersteunen, stellen we een geautomatiseerde synthetische datapijplijn voor. Hiervoor initialiseren we een vooraf getraind bewegingsmodel, dat voorkennis heeft over de basisprincipes van menselijke beweging, met interactiespecifieke ankerposities die zijn geëxtraheerd uit beperkte motion capture-data. Met behulp van ons begeleide diffusiemodel dat is getraind op gegenereerde synthetische data, synthetiseren we realistische bewegingen voor zitten en tillen met verschillende objecten, waarbij we alternatieve benaderingen overtreffen in termen van bewegingskwaliteit en succesvolle actievoltooiing. We noemen ons framework NIFTY: Neural Interaction Fields for Trajectory sYnthesis.

English

We address the problem of generating realistic 3D motions of humans interacting with objects in a scene. Our key idea is to create a neural interaction field attached to a specific object, which outputs the distance to the valid interaction manifold given a human pose as input. This interaction field guides the sampling of an object-conditioned human motion diffusion model, so as to encourage plausible contacts and affordance semantics. To support interactions with scarcely available data, we propose an automated synthetic data pipeline. For this, we seed a pre-trained motion model, which has priors for the basics of human movement, with interaction-specific anchor poses extracted from limited motion capture data. Using our guided diffusion model trained on generated synthetic data, we synthesize realistic motions for sitting and lifting with several objects, outperforming alternative approaches in terms of motion quality and successful action completion. We call our framework NIFTY: Neural Interaction Fields for Trajectory sYnthesis.