ChatPaper.aiChatPaper

GeneOH Diffusion: В сторону обобщаемого шумоподавления взаимодействий "рука-объект" через диффузионное шумоподавление

GeneOH Diffusion: Towards Generalizable Hand-Object Interaction Denoising via Denoising Diffusion

February 22, 2024
Авторы: Xueyi Liu, Li Yi
cs.AI

Аннотация

В данной работе мы решаем сложную задачу устранения шума во взаимодействиях руки и объекта (Hand-Object Interaction, HOI). Имея ошибочную последовательность взаимодействий, цель состоит в уточнении некорректной траектории руки для удаления артефактов взаимодействия и создания визуально реалистичной последовательности. Эта задача включает сложные виды шума взаимодействия, такие как неестественные позы руки и некорректные отношения между рукой и объектом, а также требует устойчивой обобщаемости к новым взаимодействиям и разнообразным типам шума. Мы решаем эти проблемы с помощью нового подхода, GeneOH Diffusion, который включает два ключевых элемента: инновационное контактно-ориентированное представление HOI под названием GeneOH и новую схему устранения шума, способную обобщаться на различные домены. Контактно-ориентированное представление GeneOH информативно параметризует процесс HOI, способствуя улучшенной обобщаемости в различных сценариях взаимодействий. Новая схема устранения шума состоит из канонической модели, обученной проецировать зашумленные данные из "отбеленного" пространства шума на многообразие чистых данных, и стратегии "устранения шума через диффузию", которая может обрабатывать входные траектории с различными типами шума, сначала диффундируя их для выравнивания с "отбеленным" пространством шума, а затем очищая с помощью канонической модели. Обширные эксперименты на четырех бенчмарках с существенными вариациями доменов демонстрируют превосходную эффективность нашего метода. GeneOH Diffusion также показывает перспективность для различных прикладных задач. Сайт проекта: https://meowuu7.github.io/GeneOH-Diffusion/.
English
In this work, we tackle the challenging problem of denoising hand-object interactions (HOI). Given an erroneous interaction sequence, the objective is to refine the incorrect hand trajectory to remove interaction artifacts for a perceptually realistic sequence. This challenge involves intricate interaction noise, including unnatural hand poses and incorrect hand-object relations, alongside the necessity for robust generalization to new interactions and diverse noise patterns. We tackle those challenges through a novel approach, GeneOH Diffusion, incorporating two key designs: an innovative contact-centric HOI representation named GeneOH and a new domain-generalizable denoising scheme. The contact-centric representation GeneOH informatively parameterizes the HOI process, facilitating enhanced generalization across various HOI scenarios. The new denoising scheme consists of a canonical denoising model trained to project noisy data samples from a whitened noise space to a clean data manifold and a "denoising via diffusion" strategy which can handle input trajectories with various noise patterns by first diffusing them to align with the whitened noise space and cleaning via the canonical denoiser. Extensive experiments on four benchmarks with significant domain variations demonstrate the superior effectiveness of our method. GeneOH Diffusion also shows promise for various downstream applications. Project website: https://meowuu7.github.io/GeneOH-Diffusion/.
PDF91December 15, 2024