ChatPaper.aiChatPaper

GeneOH Diffusion: Auf dem Weg zu generalisierbarer Hand-Objekt-Interaktion durch Denoising mittels Denoising Diffusion

GeneOH Diffusion: Towards Generalizable Hand-Object Interaction Denoising via Denoising Diffusion

February 22, 2024
Autoren: Xueyi Liu, Li Yi
cs.AI

Zusammenfassung

In dieser Arbeit widmen wir uns der anspruchsvollen Aufgabe der Rauschreduzierung bei Hand-Objekt-Interaktionen (HOI). Gegeben eine fehlerhafte Interaktionssequenz, besteht das Ziel darin, die inkorrekte Handtrajektorie zu verfeinern, um Interaktionsartefakte zu entfernen und eine wahrnehmungsrealistische Sequenz zu erzeugen. Diese Herausforderung umfasst komplexes Interaktionsrauschen, einschließlich unnatürlicher Handposen und falscher Hand-Objekt-Beziehungen, sowie die Notwendigkeit einer robusten Generalisierung auf neue Interaktionen und diverse Rauschmuster. Wir bewältigen diese Herausforderungen durch einen neuartigen Ansatz, GeneOH Diffusion, der zwei Schlüsseldesigns integriert: eine innovative kontaktzentrierte HOI-Darstellung namens GeneOH und ein neues domänengeneralisierbares Rauschreduzierungsverfahren. Die kontaktzentrierte Darstellung GeneOH parametrisiert den HOI-Prozess informativ und ermöglicht eine verbesserte Generalisierung über verschiedene HOI-Szenarien hinweg. Das neue Rauschreduzierungsverfahren besteht aus einem kanonischen Rauschreduzierungsmodell, das darauf trainiert ist, verrauschte Datenproben aus einem gebleichten Rauschraum auf eine saubere Datenmannigfaltigkeit zu projizieren, und einer „Rauschreduzierung durch Diffusion“-Strategie, die Eingabetrajektorien mit verschiedenen Rauschmustern verarbeiten kann, indem sie diese zunächst diffundiert, um sie mit dem gebleichten Rauschraum in Einklang zu bringen, und sie dann durch den kanonischen Rauschreduzierer bereinigt. Umfangreiche Experimente auf vier Benchmarks mit signifikanten Domänenvariationen demonstrieren die überlegene Effektivität unserer Methode. GeneOH Diffusion zeigt auch Potenzial für verschiedene nachgelagerte Anwendungen. Projektwebsite: https://meowuu7.github.io/GeneOH-Diffusion/.
English
In this work, we tackle the challenging problem of denoising hand-object interactions (HOI). Given an erroneous interaction sequence, the objective is to refine the incorrect hand trajectory to remove interaction artifacts for a perceptually realistic sequence. This challenge involves intricate interaction noise, including unnatural hand poses and incorrect hand-object relations, alongside the necessity for robust generalization to new interactions and diverse noise patterns. We tackle those challenges through a novel approach, GeneOH Diffusion, incorporating two key designs: an innovative contact-centric HOI representation named GeneOH and a new domain-generalizable denoising scheme. The contact-centric representation GeneOH informatively parameterizes the HOI process, facilitating enhanced generalization across various HOI scenarios. The new denoising scheme consists of a canonical denoising model trained to project noisy data samples from a whitened noise space to a clean data manifold and a "denoising via diffusion" strategy which can handle input trajectories with various noise patterns by first diffusing them to align with the whitened noise space and cleaning via the canonical denoiser. Extensive experiments on four benchmarks with significant domain variations demonstrate the superior effectiveness of our method. GeneOH Diffusion also shows promise for various downstream applications. Project website: https://meowuu7.github.io/GeneOH-Diffusion/.
PDF91December 15, 2024