NIFTY: Campos de Interacción de Objetos Neuronales para la Síntesis Guiada de Movimiento Humano

NIFTY: Neural Object Interaction Fields for Guided Human Motion Synthesis

July 14, 2023

Autores: Nilesh Kulkarni, Davis Rempe, Kyle Genova, Abhijit Kundu, Justin Johnson, David Fouhey, Leonidas Guibas

cs.AI

Resumen

Abordamos el problema de generar movimientos 3D realistas de humanos interactuando con objetos en una escena. Nuestra idea clave es crear un campo de interacción neuronal asociado a un objeto específico, que calcula la distancia al colector de interacción válido dado una pose humana como entrada. Este campo de interacción guía el muestreo de un modelo de difusión de movimiento humano condicionado por el objeto, con el fin de fomentar contactos plausibles y semánticas de affordance. Para respaldar interacciones con datos escasamente disponibles, proponemos una canalización automatizada de datos sintéticos. Para ello, inicializamos un modelo de movimiento preentrenado, que tiene conocimientos previos sobre los fundamentos del movimiento humano, con poses de anclaje específicas de interacción extraídas de datos limitados de captura de movimiento. Utilizando nuestro modelo de difusión guiado entrenado con datos sintéticos generados, sintetizamos movimientos realistas para acciones como sentarse y levantar objetos, superando enfoques alternativos en términos de calidad del movimiento y finalización exitosa de la acción. Llamamos a nuestro marco NIFTY: Neural Interaction Fields for Trajectory sYnthesis (Campos de Interacción Neuronal para Síntesis de Trayectorias).

English

We address the problem of generating realistic 3D motions of humans interacting with objects in a scene. Our key idea is to create a neural interaction field attached to a specific object, which outputs the distance to the valid interaction manifold given a human pose as input. This interaction field guides the sampling of an object-conditioned human motion diffusion model, so as to encourage plausible contacts and affordance semantics. To support interactions with scarcely available data, we propose an automated synthetic data pipeline. For this, we seed a pre-trained motion model, which has priors for the basics of human movement, with interaction-specific anchor poses extracted from limited motion capture data. Using our guided diffusion model trained on generated synthetic data, we synthesize realistic motions for sitting and lifting with several objects, outperforming alternative approaches in terms of motion quality and successful action completion. We call our framework NIFTY: Neural Interaction Fields for Trajectory sYnthesis.