ArtHOI: Управление базовыми моделями для монокулярной 4D-реконструкции взаимодействий кисти руки и артикулируемых объектов
ArtHOI: Taming Foundation Models for Monocular 4D Reconstruction of Hand-Articulated-Object Interactions
March 26, 2026
Авторы: Zikai Wang, Zhilu Zhang, Yiqing Wang, Hui Li, Wangmeng Zuo
cs.AI
Аннотация
Существующие методы взаимодействия "рука-объект" (HOI) в основном ограничены работой с жесткими объектами, в то время как методы 4D-реконструкции шарнирных объектов, как правило, требуют предварительного сканирования объекта или даже видео с нескольких ракурсов. Реконструкция четырехмерного взаимодействия человека с шарнирным объектом из одного монохромного RGB-видео остается неисследованной, но важной задачей. К счастью, последние достижения в области базовых моделей открывают новые возможности для решения этой сильно некорректной проблемы. С этой целью мы представляем ArtHOI — оптимизационную платформу, которая интегрирует и уточняет априорные данные из нескольких базовых моделей. Наш ключевой вклад — это набор новых методик, разработанных для устранения присущей этим априорным данным неточности и физической нереалистичности. В частности, мы представляем метод адаптивного сэмплирования и уточнения (ASR) для оптимизации метрического масштаба и позы объекта с целью привязки его нормализованной сетки в мировом пространстве. Кроме того, мы предлагаем метод выравнивания "рука-объект" с управлением от мультимодальной большой языковой модели (MLLM), использующий информацию о контактном взаимодействии в качестве ограничений для оптимизации композиции сеток руки и объекта. Для проведения всесторонней оценки мы также представляем два новых набора данных: ArtHOI-RGBD и ArtHOI-Wild. Многочисленные эксперименты подтверждают надежность и эффективность нашего подхода ArtHOI при работе с разнообразными объектами и типами взаимодействий. Проект: https://arthoi-reconstruction.github.io.
English
Existing hand-object interactions (HOI) methods are largely limited to rigid objects, while 4D reconstruction methods of articulated objects generally require pre-scanning the object or even multi-view videos. It remains an unexplored but significant challenge to reconstruct 4D human-articulated-object interactions from a single monocular RGB video. Fortunately, recent advancements in foundation models present a new opportunity to address this highly ill-posed problem. To this end, we introduce ArtHOI, an optimization-based framework that integrates and refines priors from multiple foundation models. Our key contribution is a suite of novel methodologies designed to resolve the inherent inaccuracies and physical unreality of these priors. In particular, we introduce an Adaptive Sampling Refinement (ASR) method to optimize object's metric scale and pose for grounding its normalized mesh in world space. Furthermore, we propose a Multimodal Large Language Model (MLLM) guided hand-object alignment method, utilizing contact reasoning information as constraints of hand-object mesh composition optimization. To facilitate a comprehensive evaluation, we also contribute two new datasets, ArtHOI-RGBD and ArtHOI-Wild. Extensive experiments validate the robustness and effectiveness of our ArtHOI across diverse objects and interactions. Project: https://arthoi-reconstruction.github.io.