GeneOH Diffusion: Naar generaliseerbare hand-object interactie denoising via denoising diffusion
GeneOH Diffusion: Towards Generalizable Hand-Object Interaction Denoising via Denoising Diffusion
February 22, 2024
Auteurs: Xueyi Liu, Li Yi
cs.AI
Samenvatting
In dit werk pakken we het uitdagende probleem aan van het denoizen van hand-objectinteracties (HOI). Gegeven een foutieve interactiesequentie, is het doel om de onjuiste handtrajectorie te verfijnen om interactie-artefacten te verwijderen voor een perceptueel realistische sequentie. Deze uitdaging omvat complexe interactieruis, waaronder onnatuurlijke handposities en incorrecte hand-objectrelaties, naast de noodzaak voor robuuste generalisatie naar nieuwe interacties en diverse ruispatronen. We gaan deze uitdagingen aan via een nieuwe aanpak, GeneOH Diffusion, die twee belangrijke ontwerpen omvat: een innovatieve contact-gerichte HOI-representatie genaamd GeneOH en een nieuw domeingeneraliseerbaar denoisingschema. De contact-gerichte representatie GeneOH parameteriseert het HOI-proces informatief, wat een verbeterde generalisatie over verschillende HOI-scenario's mogelijk maakt. Het nieuwe denoisingschema bestaat uit een canoniek denoisingmodel dat is getraind om ruizige data-monsters vanuit een gebleekte ruisruimte naar een schone datamanifold te projecteren, en een "denoising via diffusie"-strategie die invoertrajectorieën met diverse ruispatronen kan verwerken door ze eerst te diffunderen om ze uit te lijnen met de gebleekte ruisruimte en vervolgens te reinigen via de canonieke denoiser. Uitgebreide experimenten op vier benchmarks met significante domeinvariaties demonstreren de superieure effectiviteit van onze methode. GeneOH Diffusion toont ook belofte voor diverse downstream-toepassingen. Projectwebsite: https://meowuu7.github.io/GeneOH-Diffusion/.
English
In this work, we tackle the challenging problem of denoising hand-object
interactions (HOI). Given an erroneous interaction sequence, the objective is
to refine the incorrect hand trajectory to remove interaction artifacts for a
perceptually realistic sequence. This challenge involves intricate interaction
noise, including unnatural hand poses and incorrect hand-object relations,
alongside the necessity for robust generalization to new interactions and
diverse noise patterns. We tackle those challenges through a novel approach,
GeneOH Diffusion, incorporating two key designs: an innovative contact-centric
HOI representation named GeneOH and a new domain-generalizable denoising
scheme. The contact-centric representation GeneOH informatively parameterizes
the HOI process, facilitating enhanced generalization across various HOI
scenarios. The new denoising scheme consists of a canonical denoising model
trained to project noisy data samples from a whitened noise space to a clean
data manifold and a "denoising via diffusion" strategy which can handle input
trajectories with various noise patterns by first diffusing them to align with
the whitened noise space and cleaning via the canonical denoiser. Extensive
experiments on four benchmarks with significant domain variations demonstrate
the superior effectiveness of our method. GeneOH Diffusion also shows promise
for various downstream applications. Project website:
https://meowuu7.github.io/GeneOH-Diffusion/.