DreamHOI: Генерация трехмерных человеко-объектных взаимодействий на основе субъекта с использованием диффузионных априорных данных

DreamHOI: Subject-Driven Generation of 3D Human-Object Interactions with Diffusion Priors

September 12, 2024

Авторы: Thomas Hanwen Zhu, Ruining Li, Tomas Jakab

cs.AI

Аннотация

Мы представляем DreamHOI, новый метод для синтеза взаимодействий человек-объект (HOI) с нулевой обучающей выборкой, позволяющий 3D модели человека реалистично взаимодействовать с любым заданным объектом на основе текстового описания. Эта задача усложнена разнообразием категорий и геометрий реальных объектов и недостаточностью наборов данных, охватывающих разнообразные HOI. Чтобы обойти необходимость в обширных данных, мы используем модели диффузии текста в изображение, обученные на миллиардах пар изображение-подпись. Мы оптимизируем артикуляцию сетчатой модели человека, используя градиенты Score Distillation Sampling (SDS), полученные из этих моделей, которые предсказывают правки в пространстве изображения. Однако прямое обратное распространение градиентов в пространстве изображения на сложные параметры артикуляции неэффективно из-за локальной природы таких градиентов. Для преодоления этого мы представляем двойное неявное-явное представление сетчатой модели, объединяя (неявные) нейронные радиационные поля (NeRF) с (явными) параметрами артикуляции сетчатой модели, управляемыми скелетом. Во время оптимизации мы переходим между неявными и явными формами, закрепляя генерацию NeRF и уточняя артикуляцию сетчатой модели. Мы проверяем наш подход через обширные эксперименты, демонстрируя его эффективность в генерации реалистичных HOI.

English

We present DreamHOI, a novel method for zero-shot synthesis of human-object interactions (HOIs), enabling a 3D human model to realistically interact with any given object based on a textual description. This task is complicated by the varying categories and geometries of real-world objects and the scarcity of datasets encompassing diverse HOIs. To circumvent the need for extensive data, we leverage text-to-image diffusion models trained on billions of image-caption pairs. We optimize the articulation of a skinned human mesh using Score Distillation Sampling (SDS) gradients obtained from these models, which predict image-space edits. However, directly backpropagating image-space gradients into complex articulation parameters is ineffective due to the local nature of such gradients. To overcome this, we introduce a dual implicit-explicit representation of a skinned mesh, combining (implicit) neural radiance fields (NeRFs) with (explicit) skeleton-driven mesh articulation. During optimization, we transition between implicit and explicit forms, grounding the NeRF generation while refining the mesh articulation. We validate our approach through extensive experiments, demonstrating its effectiveness in generating realistic HOIs.