NIFTY: Neuronale Objekt-Interaktionsfelder für geführte Synthese menschlicher Bewegungen

NIFTY: Neural Object Interaction Fields for Guided Human Motion Synthesis

July 14, 2023

Autoren: Nilesh Kulkarni, Davis Rempe, Kyle Genova, Abhijit Kundu, Justin Johnson, David Fouhey, Leonidas Guibas

cs.AI

Zusammenfassung

Wir behandeln das Problem der Erzeugung realistischer 3D-Bewegungen von Menschen, die mit Objekten in einer Szene interagieren. Unser zentraler Ansatz besteht darin, ein neuronales Interaktionsfeld zu erstellen, das an ein spezifisches Objekt gebunden ist und die Distanz zur gültigen Interaktionsmannigfaltigkeit bei Eingabe einer menschlichen Pose ausgibt. Dieses Interaktionsfeld leitet die Stichprobenentnahme eines objektbedingten menschlichen Bewegungsdiffusionsmodells an, um plausible Kontakte und Affordanzsemantik zu fördern. Um Interaktionen mit nur begrenzt verfügbaren Daten zu unterstützen, schlagen wir eine automatisierte Pipeline für synthetische Daten vor. Hierbei initialisieren wir ein vortrainiertes Bewegungsmodell, das Vorwissen über die Grundlagen menschlicher Bewegung besitzt, mit interaktionsspezifischen Ankerposen, die aus begrenzten Motion-Capture-Daten extrahiert wurden. Mit unserem geführten Diffusionsmodell, das auf generierten synthetischen Daten trainiert wurde, synthetisieren wir realistische Bewegungen für das Sitzen und Heben mit verschiedenen Objekten und übertreffen alternative Ansätze in Bezug auf Bewegungsqualität und erfolgreiche Handlungsabschlüsse. Wir nennen unser Framework NIFTY: Neural Interaction Fields for Trajectory sYnthesis.

English

We address the problem of generating realistic 3D motions of humans interacting with objects in a scene. Our key idea is to create a neural interaction field attached to a specific object, which outputs the distance to the valid interaction manifold given a human pose as input. This interaction field guides the sampling of an object-conditioned human motion diffusion model, so as to encourage plausible contacts and affordance semantics. To support interactions with scarcely available data, we propose an automated synthetic data pipeline. For this, we seed a pre-trained motion model, which has priors for the basics of human movement, with interaction-specific anchor poses extracted from limited motion capture data. Using our guided diffusion model trained on generated synthetic data, we synthesize realistic motions for sitting and lifting with several objects, outperforming alternative approaches in terms of motion quality and successful action completion. We call our framework NIFTY: Neural Interaction Fields for Trajectory sYnthesis.