GeneOH Diffusion: Hacia la Desdifusión Generalizable de Interacciones Mano-Objeto mediante Difusión de Ruido
GeneOH Diffusion: Towards Generalizable Hand-Object Interaction Denoising via Denoising Diffusion
February 22, 2024
Autores: Xueyi Liu, Li Yi
cs.AI
Resumen
En este trabajo, abordamos el desafiante problema de eliminar el ruido en las interacciones mano-objeto (HOI, por sus siglas en inglés). Dada una secuencia de interacción errónea, el objetivo es refinar la trayectoria incorrecta de la mano para eliminar artefactos de interacción y obtener una secuencia perceptualmente realista. Este desafío implica ruido de interacción complejo, incluyendo poses antinaturales de la mano y relaciones incorrectas entre la mano y el objeto, junto con la necesidad de una generalización robusta a nuevas interacciones y diversos patrones de ruido. Abordamos estos desafíos mediante un enfoque novedoso, GeneOH Diffusion, que incorpora dos diseños clave: una representación centrada en el contacto de HOI llamada GeneOH y un nuevo esquema de eliminación de ruido generalizable a diferentes dominios. La representación centrada en el contacto, GeneOH, parametriza de manera informativa el proceso de HOI, facilitando una mejor generalización en diversos escenarios de HOI. El nuevo esquema de eliminación de ruido consiste en un modelo canónico de eliminación de ruido entrenado para proyectar muestras de datos ruidosos desde un espacio de ruido blanqueado hacia una variedad de datos limpios, y una estrategia de "eliminación de ruido mediante difusión" que puede manejar trayectorias de entrada con diversos patrones de ruido al difundirlas primero para alinearlas con el espacio de ruido blanqueado y luego limpiarlas mediante el eliminador de ruido canónico. Experimentos exhaustivos en cuatro benchmarks con variaciones significativas de dominio demuestran la superior efectividad de nuestro método. GeneOH Diffusion también muestra potencial para diversas aplicaciones posteriores. Sitio web del proyecto: https://meowuu7.github.io/GeneOH-Diffusion/.
English
In this work, we tackle the challenging problem of denoising hand-object
interactions (HOI). Given an erroneous interaction sequence, the objective is
to refine the incorrect hand trajectory to remove interaction artifacts for a
perceptually realistic sequence. This challenge involves intricate interaction
noise, including unnatural hand poses and incorrect hand-object relations,
alongside the necessity for robust generalization to new interactions and
diverse noise patterns. We tackle those challenges through a novel approach,
GeneOH Diffusion, incorporating two key designs: an innovative contact-centric
HOI representation named GeneOH and a new domain-generalizable denoising
scheme. The contact-centric representation GeneOH informatively parameterizes
the HOI process, facilitating enhanced generalization across various HOI
scenarios. The new denoising scheme consists of a canonical denoising model
trained to project noisy data samples from a whitened noise space to a clean
data manifold and a "denoising via diffusion" strategy which can handle input
trajectories with various noise patterns by first diffusing them to align with
the whitened noise space and cleaning via the canonical denoiser. Extensive
experiments on four benchmarks with significant domain variations demonstrate
the superior effectiveness of our method. GeneOH Diffusion also shows promise
for various downstream applications. Project website:
https://meowuu7.github.io/GeneOH-Diffusion/.