GeneOH Diffusion : Vers une généralisation de l'interaction main-objet par débruitage via la diffusion de débruitage

GeneOH Diffusion: Towards Generalizable Hand-Object Interaction Denoising via Denoising Diffusion

February 22, 2024

Auteurs: Xueyi Liu, Li Yi

cs.AI

Résumé

Dans ce travail, nous abordons le problème complexe du débruitage des interactions main-objet (Hand-Object Interactions, HOI). Étant donné une séquence d'interaction erronée, l'objectif est d'affiner la trajectoire incorrecte de la main pour éliminer les artefacts d'interaction et obtenir une séquence perceptuellement réaliste. Ce défi implique un bruit d'interaction complexe, incluant des poses de main non naturelles et des relations main-objet incorrectes, ainsi que la nécessité d'une généralisation robuste à de nouvelles interactions et à divers modèles de bruit. Nous relevons ces défis grâce à une approche novatrice, GeneOH Diffusion, qui intègre deux conceptions clés : une représentation centrée sur le contact des HOI, nommée GeneOH, et un nouveau schéma de débruitage généralisable à différents domaines. La représentation centrée sur le contact, GeneOH, paramètre de manière informative le processus HOI, facilitant une généralisation améliorée à travers divers scénarios HOI. Le nouveau schéma de débruitage consiste en un modèle de débruitage canonique entraîné à projeter des échantillons de données bruitées depuis un espace de bruit blanchi vers une variété de données propres, ainsi qu'une stratégie de "débruitage par diffusion" qui peut traiter des trajectoires d'entrée avec divers modèles de bruit en les diffusant d'abord pour les aligner avec l'espace de bruit blanchi, puis en les nettoyant via le débruitage canonique. Des expériences approfondies sur quatre benchmarks présentant des variations de domaine significatives démontrent l'efficacité supérieure de notre méthode. GeneOH Diffusion montre également un potentiel prometteur pour diverses applications en aval. Site du projet : https://meowuu7.github.io/GeneOH-Diffusion/.

English

In this work, we tackle the challenging problem of denoising hand-object interactions (HOI). Given an erroneous interaction sequence, the objective is to refine the incorrect hand trajectory to remove interaction artifacts for a perceptually realistic sequence. This challenge involves intricate interaction noise, including unnatural hand poses and incorrect hand-object relations, alongside the necessity for robust generalization to new interactions and diverse noise patterns. We tackle those challenges through a novel approach, GeneOH Diffusion, incorporating two key designs: an innovative contact-centric HOI representation named GeneOH and a new domain-generalizable denoising scheme. The contact-centric representation GeneOH informatively parameterizes the HOI process, facilitating enhanced generalization across various HOI scenarios. The new denoising scheme consists of a canonical denoising model trained to project noisy data samples from a whitened noise space to a clean data manifold and a "denoising via diffusion" strategy which can handle input trajectories with various noise patterns by first diffusing them to align with the whitened noise space and cleaning via the canonical denoiser. Extensive experiments on four benchmarks with significant domain variations demonstrate the superior effectiveness of our method. GeneOH Diffusion also shows promise for various downstream applications. Project website: https://meowuu7.github.io/GeneOH-Diffusion/.