ArtHOI : Domestiquer les modèles de fondation pour la reconstruction monoculaire 4D des interactions main-objet articulé
ArtHOI: Taming Foundation Models for Monocular 4D Reconstruction of Hand-Articulated-Object Interactions
March 26, 2026
Auteurs: Zikai Wang, Zhilu Zhang, Yiqing Wang, Hui Li, Wangmeng Zuo
cs.AI
Résumé
Les méthodes existantes d'interaction main-objet (HOI) se limitent largement aux objets rigides, tandis que les méthodes de reconstruction 4D d'objets articulés nécessitent généralement un pré-balayage de l'objet ou même des vidéos multi-vues. La reconstruction d'interactions 4D entre un humain et un objet articulé à partir d'une seule vidéo RVB monoculaire reste un défi inexploré mais majeur. Heureusement, les récentes avancées des modèles fondateurs présentent une nouvelle opportunité pour résoudre ce problème très mal posé. Pour cela, nous présentons ArtHOI, un cadre d'optimisation qui intègre et affine les connaissances a priori de multiples modèles fondateurs. Notre contribution principale est un ensemble de méthodologies novatrices conçues pour résoudre les inexactitudes inhérentes et l'irréalité physique de ces connaissances a priori. En particulier, nous introduisons une méthode de Raffinement par Échantillonnage Adaptatif (ASR) pour optimiser l'échelle métrique et la pose de l'objet afin d'ancrer son maillage normalisé dans l'espace monde. De plus, nous proposons une méthode d'alignement main-objet guidée par un Grand Modèle de Langage Multimodal (MLLM), utilisant les informations de raisonnement sur les contacts comme contraintes pour l'optimisation de la composition des maillages main-objet. Pour faciliter une évaluation complète, nous contribuons également avec deux nouveaux jeux de données, ArtHOI-RGBD et ArtHOI-Wild. Des expériences approfondies valident la robustesse et l'efficacité de notre méthode ArtHOI sur divers objets et interactions. Projet : https://arthoi-reconstruction.github.io.
English
Existing hand-object interactions (HOI) methods are largely limited to rigid objects, while 4D reconstruction methods of articulated objects generally require pre-scanning the object or even multi-view videos. It remains an unexplored but significant challenge to reconstruct 4D human-articulated-object interactions from a single monocular RGB video. Fortunately, recent advancements in foundation models present a new opportunity to address this highly ill-posed problem. To this end, we introduce ArtHOI, an optimization-based framework that integrates and refines priors from multiple foundation models. Our key contribution is a suite of novel methodologies designed to resolve the inherent inaccuracies and physical unreality of these priors. In particular, we introduce an Adaptive Sampling Refinement (ASR) method to optimize object's metric scale and pose for grounding its normalized mesh in world space. Furthermore, we propose a Multimodal Large Language Model (MLLM) guided hand-object alignment method, utilizing contact reasoning information as constraints of hand-object mesh composition optimization. To facilitate a comprehensive evaluation, we also contribute two new datasets, ArtHOI-RGBD and ArtHOI-Wild. Extensive experiments validate the robustness and effectiveness of our ArtHOI across diverse objects and interactions. Project: https://arthoi-reconstruction.github.io.