ChatPaper.aiChatPaper

GeneOH Diffusion: Hacia la Desdifusión Generalizable de Interacciones Mano-Objeto mediante Difusión de Ruido

GeneOH Diffusion: Towards Generalizable Hand-Object Interaction Denoising via Denoising Diffusion

February 22, 2024
Autores: Xueyi Liu, Li Yi
cs.AI

Resumen

En este trabajo, abordamos el desafiante problema de eliminar el ruido en las interacciones mano-objeto (HOI, por sus siglas en inglés). Dada una secuencia de interacción errónea, el objetivo es refinar la trayectoria incorrecta de la mano para eliminar artefactos de interacción y obtener una secuencia perceptualmente realista. Este desafío implica ruido de interacción complejo, incluyendo poses antinaturales de la mano y relaciones incorrectas entre la mano y el objeto, junto con la necesidad de una generalización robusta a nuevas interacciones y diversos patrones de ruido. Abordamos estos desafíos mediante un enfoque novedoso, GeneOH Diffusion, que incorpora dos diseños clave: una representación centrada en el contacto de HOI llamada GeneOH y un nuevo esquema de eliminación de ruido generalizable a diferentes dominios. La representación centrada en el contacto, GeneOH, parametriza de manera informativa el proceso de HOI, facilitando una mejor generalización en diversos escenarios de HOI. El nuevo esquema de eliminación de ruido consiste en un modelo canónico de eliminación de ruido entrenado para proyectar muestras de datos ruidosos desde un espacio de ruido blanqueado hacia una variedad de datos limpios, y una estrategia de "eliminación de ruido mediante difusión" que puede manejar trayectorias de entrada con diversos patrones de ruido al difundirlas primero para alinearlas con el espacio de ruido blanqueado y luego limpiarlas mediante el eliminador de ruido canónico. Experimentos exhaustivos en cuatro benchmarks con variaciones significativas de dominio demuestran la superior efectividad de nuestro método. GeneOH Diffusion también muestra potencial para diversas aplicaciones posteriores. Sitio web del proyecto: https://meowuu7.github.io/GeneOH-Diffusion/.
English
In this work, we tackle the challenging problem of denoising hand-object interactions (HOI). Given an erroneous interaction sequence, the objective is to refine the incorrect hand trajectory to remove interaction artifacts for a perceptually realistic sequence. This challenge involves intricate interaction noise, including unnatural hand poses and incorrect hand-object relations, alongside the necessity for robust generalization to new interactions and diverse noise patterns. We tackle those challenges through a novel approach, GeneOH Diffusion, incorporating two key designs: an innovative contact-centric HOI representation named GeneOH and a new domain-generalizable denoising scheme. The contact-centric representation GeneOH informatively parameterizes the HOI process, facilitating enhanced generalization across various HOI scenarios. The new denoising scheme consists of a canonical denoising model trained to project noisy data samples from a whitened noise space to a clean data manifold and a "denoising via diffusion" strategy which can handle input trajectories with various noise patterns by first diffusing them to align with the whitened noise space and cleaning via the canonical denoiser. Extensive experiments on four benchmarks with significant domain variations demonstrate the superior effectiveness of our method. GeneOH Diffusion also shows promise for various downstream applications. Project website: https://meowuu7.github.io/GeneOH-Diffusion/.
PDF91December 15, 2024