NIFTY: Нейронные поля взаимодействия объектов для управляемого синтеза движений человека

NIFTY: Neural Object Interaction Fields for Guided Human Motion Synthesis

July 14, 2023

Авторы: Nilesh Kulkarni, Davis Rempe, Kyle Genova, Abhijit Kundu, Justin Johnson, David Fouhey, Leonidas Guibas

cs.AI

Аннотация

Мы рассматриваем задачу генерации реалистичных 3D-движений человека, взаимодействующего с объектами в сцене. Наша ключевая идея заключается в создании нейронного поля взаимодействия, привязанного к конкретному объекту, которое вычисляет расстояние до допустимого многообразия взаимодействия на основе заданной позы человека. Это поле взаимодействия направляет выборку в диффузионной модели движения человека, учитывающей объект, что способствует созданию правдоподобных контактов и семантики аффордансов. Для поддержки взаимодействий с ограниченным объемом данных мы предлагаем автоматизированный конвейер синтетических данных. Для этого мы используем предварительно обученную модель движения, обладающую априорными знаниями о базовых аспектах человеческого движения, инициализируя её специфическими для взаимодействия опорными позами, извлеченными из ограниченных данных захвата движения. Используя нашу управляемую диффузионную модель, обученную на сгенерированных синтетических данных, мы синтезируем реалистичные движения для таких действий, как сидение и подъем, с несколькими объектами, превосходя альтернативные подходы по качеству движения и успешности выполнения действий. Мы называем наш фреймворк NIFTY: Neural Interaction Fields for Trajectory sYnthesis.

English

We address the problem of generating realistic 3D motions of humans interacting with objects in a scene. Our key idea is to create a neural interaction field attached to a specific object, which outputs the distance to the valid interaction manifold given a human pose as input. This interaction field guides the sampling of an object-conditioned human motion diffusion model, so as to encourage plausible contacts and affordance semantics. To support interactions with scarcely available data, we propose an automated synthetic data pipeline. For this, we seed a pre-trained motion model, which has priors for the basics of human movement, with interaction-specific anchor poses extracted from limited motion capture data. Using our guided diffusion model trained on generated synthetic data, we synthesize realistic motions for sitting and lifting with several objects, outperforming alternative approaches in terms of motion quality and successful action completion. We call our framework NIFTY: Neural Interaction Fields for Trajectory sYnthesis.