ShapeR: Robuuste conditionele 3D-vormgeneratie op basis van informele opnames
ShapeR: Robust Conditional 3D Shape Generation from Casual Captures
January 16, 2026
Auteurs: Yawar Siddiqui, Duncan Frost, Samir Aroudj, Armen Avetisyan, Henry Howard-Jenkins, Daniel DeTone, Pierre Moulon, Qirui Wu, Zhengqin Li, Julian Straub, Richard Newcombe, Jakob Engel
cs.AI
Samenvatting
Recente vooruitgang in 3D-vormgeneratie heeft indrukwekkende resultaten geboekt, maar de meeste bestaande methoden steunen op schone, onbedekte en goed gesegmenteerde invoer. Dergelijke omstandigheden komen in praktijkscenario's zelden voor. Wij presenteren ShapeR, een nieuwe aanpak voor conditionele 3D-vormgeneratie van objecten uit casual vastgelegde sequenties. Gegeven een beeldsequentie benutten we kant-en-klare visueel-inertiële SLAM, 3D-detectiealgoritmen en vision-language modellen om voor elk object een set van sparse SLAM-punten, geposeerde multi-view beelden en machine-gegenereerde bijschriften te extraheren. Een rectified flow transformer, getraind om effectief conditionering op deze modaliteiten toe te passen, genereert vervolgens hoogwaardige metrische 3D-vormen. Om robuustheid te waarborgen tegen de uitdagingen van casual vastgelegde data, zetten we een reeks technieken in, waaronder on-the-fly compositionele augmentaties, een curriculumtrainingsschema dat object- en scène-level datasets omvat, en strategieën om achtergrondrommel te hanteren. Daarnaast introduceren we een nieuwe evaluatiebenchmark bestaande uit 178 *in-the-wild* objecten verspreid over 7 real-world scènes met geometrie-annotaties. Experimenten tonen aan dat ShapeR bestaande benaderingen in deze uitdagende setting significant overtreft, met een verbetering van 2,7x in Chamfer-afstand vergeleken met de state-of-the-art.
English
Recent advances in 3D shape generation have achieved impressive results, but most existing methods rely on clean, unoccluded, and well-segmented inputs. Such conditions are rarely met in real-world scenarios. We present ShapeR, a novel approach for conditional 3D object shape generation from casually captured sequences. Given an image sequence, we leverage off-the-shelf visual-inertial SLAM, 3D detection algorithms, and vision-language models to extract, for each object, a set of sparse SLAM points, posed multi-view images, and machine-generated captions. A rectified flow transformer trained to effectively condition on these modalities then generates high-fidelity metric 3D shapes. To ensure robustness to the challenges of casually captured data, we employ a range of techniques including on-the-fly compositional augmentations, a curriculum training scheme spanning object- and scene-level datasets, and strategies to handle background clutter. Additionally, we introduce a new evaluation benchmark comprising 178 in-the-wild objects across 7 real-world scenes with geometry annotations. Experiments show that ShapeR significantly outperforms existing approaches in this challenging setting, achieving an improvement of 2.7x in Chamfer distance compared to state of the art.