GeneOH Diffusion: 디노이징 확산을 통한 일반화 가능한 손-물체 상호작용 모델

GeneOH Diffusion: Towards Generalizable Hand-Object Interaction Denoising via Denoising Diffusion

February 22, 2024

저자: Xueyi Liu, Li Yi

cs.AI

초록

본 연구에서는 손-물체 상호작용(HOI)의 잡음 제거라는 어려운 문제를 다룹니다. 오류가 있는 상호작용 시퀀스가 주어졌을 때, 목표는 잘못된 손 궤적을 개선하여 상호작용 아티팩트를 제거하고 지각적으로 현실적인 시퀀스를 만드는 것입니다. 이 문제는 부자연스러운 손 자세와 잘못된 손-물체 관계를 포함한 복잡한 상호작용 잡음과 새로운 상호작용 및 다양한 잡음 패턴에 대한 강력한 일반화 능력을 필요로 합니다. 우리는 이러한 문제를 해결하기 위해 두 가지 핵심 설계를 포함한 새로운 접근 방식인 GeneOH Diffusion을 제안합니다: GeneOH라는 혁신적인 접촉 중심 HOI 표현과 새로운 도메인 일반화 가능한 잡음 제거 기법입니다. 접촉 중심 표현인 GeneOH는 HOI 과정을 정보적으로 매개변수화하여 다양한 HOI 시나리오에서 향상된 일반화를 가능하게 합니다. 새로운 잡음 제거 기법은 백색화된 잡음 공간에서의 잡음 데이터 샘플을 깨끗한 데이터 매니폴드로 투영하도록 훈련된 표준 잡음 제거 모델과, 다양한 잡음 패턴을 가진 입력 궤적을 먼저 백색화된 잡음 공간에 맞게 확산시킨 후 표준 잡음 제거기를 통해 정제하는 "확산을 통한 잡음 제거" 전략으로 구성됩니다. 상당한 도메인 변이를 가진 네 가지 벤치마크에서의 광범위한 실험을 통해 우리 방법의 우수한 효과를 입증했습니다. GeneOH Diffusion은 또한 다양한 다운스트림 애플리케이션에 대한 가능성을 보여줍니다. 프로젝트 웹사이트: https://meowuu7.github.io/GeneOH-Diffusion/.

English

In this work, we tackle the challenging problem of denoising hand-object interactions (HOI). Given an erroneous interaction sequence, the objective is to refine the incorrect hand trajectory to remove interaction artifacts for a perceptually realistic sequence. This challenge involves intricate interaction noise, including unnatural hand poses and incorrect hand-object relations, alongside the necessity for robust generalization to new interactions and diverse noise patterns. We tackle those challenges through a novel approach, GeneOH Diffusion, incorporating two key designs: an innovative contact-centric HOI representation named GeneOH and a new domain-generalizable denoising scheme. The contact-centric representation GeneOH informatively parameterizes the HOI process, facilitating enhanced generalization across various HOI scenarios. The new denoising scheme consists of a canonical denoising model trained to project noisy data samples from a whitened noise space to a clean data manifold and a "denoising via diffusion" strategy which can handle input trajectories with various noise patterns by first diffusing them to align with the whitened noise space and cleaning via the canonical denoiser. Extensive experiments on four benchmarks with significant domain variations demonstrate the superior effectiveness of our method. GeneOH Diffusion also shows promise for various downstream applications. Project website: https://meowuu7.github.io/GeneOH-Diffusion/.