GeneOH Diffusion: Rumo à Generalização da Interação Mão-Objeto por meio de Difusão de Ruído
GeneOH Diffusion: Towards Generalizable Hand-Object Interaction Denoising via Denoising Diffusion
February 22, 2024
Autores: Xueyi Liu, Li Yi
cs.AI
Resumo
Neste trabalho, abordamos o desafiador problema de remoção de ruído em interações mão-objeto (HOI). Dada uma sequência de interação errônea, o objetivo é refinar a trajetória incorreta da mão para remover artefatos de interação e obter uma sequência perceptualmente realista. Esse desafio envolve ruídos complexos de interação, incluindo poses não naturais da mão e relações incorretas entre mão e objeto, além da necessidade de uma generalização robusta para novas interações e diversos padrões de ruído. Enfrentamos esses desafios por meio de uma abordagem inovadora, o GeneOH Diffusion, que incorpora dois projetos-chave: uma representação centrada em contato chamada GeneOH e um novo esquema de remoção de ruído generalizável para diferentes domínios. A representação centrada em contato, GeneOH, parametriza de forma informativa o processo HOI, facilitando uma melhor generalização em diversos cenários de HOI. O novo esquema de remoção de ruído consiste em um modelo canônico de remoção de ruído treinado para projetar amostras de dados ruidosos de um espaço de ruído branqueado para uma variedade de dados limpos e uma estratégia de "remoção de ruído via difusão", que pode lidar com trajetórias de entrada com diversos padrões de ruído, primeiro difundindo-as para alinhá-las ao espaço de ruído branqueado e, em seguida, limpando-as por meio do removedor de ruído canônico. Experimentos extensivos em quatro benchmarks com variações significativas de domínio demonstram a eficácia superior do nosso método. O GeneOH Diffusion também mostra potencial para várias aplicações subsequentes. Site do projeto: https://meowuu7.github.io/GeneOH-Diffusion/.
English
In this work, we tackle the challenging problem of denoising hand-object
interactions (HOI). Given an erroneous interaction sequence, the objective is
to refine the incorrect hand trajectory to remove interaction artifacts for a
perceptually realistic sequence. This challenge involves intricate interaction
noise, including unnatural hand poses and incorrect hand-object relations,
alongside the necessity for robust generalization to new interactions and
diverse noise patterns. We tackle those challenges through a novel approach,
GeneOH Diffusion, incorporating two key designs: an innovative contact-centric
HOI representation named GeneOH and a new domain-generalizable denoising
scheme. The contact-centric representation GeneOH informatively parameterizes
the HOI process, facilitating enhanced generalization across various HOI
scenarios. The new denoising scheme consists of a canonical denoising model
trained to project noisy data samples from a whitened noise space to a clean
data manifold and a "denoising via diffusion" strategy which can handle input
trajectories with various noise patterns by first diffusing them to align with
the whitened noise space and cleaning via the canonical denoiser. Extensive
experiments on four benchmarks with significant domain variations demonstrate
the superior effectiveness of our method. GeneOH Diffusion also shows promise
for various downstream applications. Project website:
https://meowuu7.github.io/GeneOH-Diffusion/.