ArtHOI: Het Temmen van Foundation Modellen voor Monoculaire 4D-reconstructie van Hand-Objectinteracties met Articulatie
ArtHOI: Taming Foundation Models for Monocular 4D Reconstruction of Hand-Articulated-Object Interactions
March 26, 2026
Auteurs: Zikai Wang, Zhilu Zhang, Yiqing Wang, Hui Li, Wangmeng Zuo
cs.AI
Samenvatting
Bestaande methoden voor hand-objectinteracties (HOI) zijn grotendeels beperkt tot rigide objecten, terwijl 4D-reconstructiemethoden voor gearticuleerde objecten over het algemeen voorafscannen van het object of zelfs multivideo's vereisen. Het reconstrueren van 4D mens-gearticuleerd-objectinteracties vanuit een enkele monocular RGB-video blijft een onontgonnen maar significante uitdaging. Gelukkig bieden recente ontwikkelingen in foundationmodellen een nieuwe kans om dit sterk ill-posed probleem aan te pakken. Daartoe introduceren wij ArtHOI, een op optimalisatie gebaseerd raamwerk dat kennispriors van meerdere foundationmodellen integreert en verfijnt. Onze belangrijkste bijdrage is een reeks nieuwe methodologieën ontworpen om de inherente onnauwkeurigheden en fysieke onrealiteit van deze priors op te lossen. In het bijzonder introduceren we een Adaptive Sampling Refinement (ASR)-methode om de metrieke schaal en pose van het object te optimaliseren voor het verankeren van zijn genormaliseerde mesh in de wereldruimte. Verder stellen we een door een Multimodal Large Language Model (MLLM) geleide hand-objectuitlijningsmethode voor, waarbij contactredeneringsinformatie wordt gebruikt als constraints voor de optimalisatie van de hand-object mesh-compositie. Om een uitgebreide evaluatie mogelijk te maken, dragen we ook twee nieuwe datasets bij, ArtHOI-RGBD en ArtHOI-Wild. Uitgebreide experimenten valideren de robuustheid en effectiviteit van onze ArtHOI voor diverse objecten en interacties. Project: https://arthoi-reconstruction.github.io.
English
Existing hand-object interactions (HOI) methods are largely limited to rigid objects, while 4D reconstruction methods of articulated objects generally require pre-scanning the object or even multi-view videos. It remains an unexplored but significant challenge to reconstruct 4D human-articulated-object interactions from a single monocular RGB video. Fortunately, recent advancements in foundation models present a new opportunity to address this highly ill-posed problem. To this end, we introduce ArtHOI, an optimization-based framework that integrates and refines priors from multiple foundation models. Our key contribution is a suite of novel methodologies designed to resolve the inherent inaccuracies and physical unreality of these priors. In particular, we introduce an Adaptive Sampling Refinement (ASR) method to optimize object's metric scale and pose for grounding its normalized mesh in world space. Furthermore, we propose a Multimodal Large Language Model (MLLM) guided hand-object alignment method, utilizing contact reasoning information as constraints of hand-object mesh composition optimization. To facilitate a comprehensive evaluation, we also contribute two new datasets, ArtHOI-RGBD and ArtHOI-Wild. Extensive experiments validate the robustness and effectiveness of our ArtHOI across diverse objects and interactions. Project: https://arthoi-reconstruction.github.io.