GeneOH Diffusion: Verso un Denoising Generalizzabile per l'Interazione Mano-Oggetto tramite Diffusion Denoising
GeneOH Diffusion: Towards Generalizable Hand-Object Interaction Denoising via Denoising Diffusion
February 22, 2024
Autori: Xueyi Liu, Li Yi
cs.AI
Abstract
In questo lavoro, affrontiamo il problema complesso del denoising delle interazioni mano-oggetto (HOI). Data una sequenza di interazione errata, l'obiettivo è affinare la traiettoria della mano per rimuovere gli artefatti di interazione e ottenere una sequenza percettivamente realistica. Questa sfida coinvolge rumori di interazione intricati, tra cui pose innaturali della mano e relazioni scorrette tra mano e oggetto, oltre alla necessità di una robusta generalizzazione per nuove interazioni e diversi schemi di rumore. Affrontiamo queste sfide attraverso un approccio innovativo, GeneOH Diffusion, che incorpora due design chiave: una rappresentazione HOI centrata sul contatto chiamata GeneOH e un nuovo schema di denoising generalizzabile a diversi domini. La rappresentazione centrata sul contatto GeneOH parametrizza in modo informativo il processo HOI, facilitando una migliore generalizzazione attraverso vari scenari HOI. Il nuovo schema di denoising consiste in un modello di denoising canonico addestrato per proiettare campioni di dati rumorosi da uno spazio di rumore sbiancato a una varietà di dati puliti e in una strategia di "denoising via diffusione" che può gestire traiettorie di input con vari schemi di rumore diffondendole prima per allinearle allo spazio di rumore sbiancato e poi pulendole tramite il denoiser canonico. Esperimenti estesi su quattro benchmark con significative variazioni di dominio dimostrano l'efficacia superiore del nostro metodo. GeneOH Diffusion mostra anche promesse per varie applicazioni downstream. Sito web del progetto: https://meowuu7.github.io/GeneOH-Diffusion/.
English
In this work, we tackle the challenging problem of denoising hand-object
interactions (HOI). Given an erroneous interaction sequence, the objective is
to refine the incorrect hand trajectory to remove interaction artifacts for a
perceptually realistic sequence. This challenge involves intricate interaction
noise, including unnatural hand poses and incorrect hand-object relations,
alongside the necessity for robust generalization to new interactions and
diverse noise patterns. We tackle those challenges through a novel approach,
GeneOH Diffusion, incorporating two key designs: an innovative contact-centric
HOI representation named GeneOH and a new domain-generalizable denoising
scheme. The contact-centric representation GeneOH informatively parameterizes
the HOI process, facilitating enhanced generalization across various HOI
scenarios. The new denoising scheme consists of a canonical denoising model
trained to project noisy data samples from a whitened noise space to a clean
data manifold and a "denoising via diffusion" strategy which can handle input
trajectories with various noise patterns by first diffusing them to align with
the whitened noise space and cleaning via the canonical denoiser. Extensive
experiments on four benchmarks with significant domain variations demonstrate
the superior effectiveness of our method. GeneOH Diffusion also shows promise
for various downstream applications. Project website:
https://meowuu7.github.io/GeneOH-Diffusion/.