GeneOH Diffusion: デノイジング拡散による汎用的な手-物体インタラクションの実現に向けて

GeneOH Diffusion: Towards Generalizable Hand-Object Interaction Denoising via Denoising Diffusion

February 22, 2024

著者: Xueyi Liu, Li Yi

cs.AI

要旨

本研究では、手と物体の相互作用（HOI）のノイズ除去という難題に取り組みます。誤った相互作用シーケンスが与えられた場合、その目的は、不正確な手の軌跡を洗練し、相互作用によるアーティファクトを除去して、知覚的に現実的なシーケンスを生成することです。この課題には、不自然な手の姿勢や誤った手と物体の関係といった複雑な相互作用ノイズが含まれるほか、新しい相互作用や多様なノイズパターンに対する堅牢な汎化能力が求められます。我々はこれらの課題に対処するため、GeneOH Diffusionという新たなアプローチを提案します。このアプローチは、2つの主要な設計要素を組み込んでいます：接触中心のHOI表現であるGeneOHと、新しいドメイン汎化可能なノイズ除去スキームです。接触中心の表現であるGeneOHは、HOIプロセスを情報豊かにパラメータ化し、さまざまなHOIシナリオにわたる汎化能力を向上させます。新しいノイズ除去スキームは、ホワイトノイズ空間からクリーンデータ多様体へのノイズデータサンプルの射影を学習する標準的なノイズ除去モデルと、「拡散によるノイズ除去」戦略で構成されます。この戦略では、まず入力軌跡を拡散してホワイトノイズ空間に整列させ、その後標準的なノイズ除去器でクリーンアップします。ドメイン変動が大きい4つのベンチマークでの広範な実験により、本手法の優れた有効性が実証されました。GeneOH Diffusionは、さまざまな下流アプリケーションにも有望な結果を示しています。プロジェクトウェブサイト：https://meowuu7.github.io/GeneOH-Diffusion/。

English

In this work, we tackle the challenging problem of denoising hand-object interactions (HOI). Given an erroneous interaction sequence, the objective is to refine the incorrect hand trajectory to remove interaction artifacts for a perceptually realistic sequence. This challenge involves intricate interaction noise, including unnatural hand poses and incorrect hand-object relations, alongside the necessity for robust generalization to new interactions and diverse noise patterns. We tackle those challenges through a novel approach, GeneOH Diffusion, incorporating two key designs: an innovative contact-centric HOI representation named GeneOH and a new domain-generalizable denoising scheme. The contact-centric representation GeneOH informatively parameterizes the HOI process, facilitating enhanced generalization across various HOI scenarios. The new denoising scheme consists of a canonical denoising model trained to project noisy data samples from a whitened noise space to a clean data manifold and a "denoising via diffusion" strategy which can handle input trajectories with various noise patterns by first diffusing them to align with the whitened noise space and cleaning via the canonical denoiser. Extensive experiments on four benchmarks with significant domain variations demonstrate the superior effectiveness of our method. GeneOH Diffusion also shows promise for various downstream applications. Project website: https://meowuu7.github.io/GeneOH-Diffusion/.