ShapeR: Generación Robusta de Formas 3D Condicionadas a Partir de Capturas Informales
ShapeR: Robust Conditional 3D Shape Generation from Casual Captures
January 16, 2026
Autores: Yawar Siddiqui, Duncan Frost, Samir Aroudj, Armen Avetisyan, Henry Howard-Jenkins, Daniel DeTone, Pierre Moulon, Qirui Wu, Zhengqin Li, Julian Straub, Richard Newcombe, Jakob Engel
cs.AI
Resumen
Los recientes avances en generación de formas 3D han logrado resultados impresionantes, pero la mayoría de los métodos existentes dependen de entradas limpias, sin oclusiones y bien segmentadas. Estas condiciones rara vez se cumplen en escenarios del mundo real. Presentamos ShapeR, un nuevo enfoque para la generación condicional de formas de objetos 3D a partir de secuencias capturadas de manera casual. Dada una secuencia de imágenes, aprovechamos sistemas SLAM visual-inerciales estándar, algoritmos de detección 3D y modelos visión-lenguaje para extraer, para cada objeto, un conjunto de puntos SLAM dispersos, imágenes multivista con pose y descripciones generadas automáticamente. Un transformador de flujo rectificado, entrenado para condicionarse eficazmente en estas modalidades, genera entonces formas 3D métricas de alta fidelidad. Para garantizar robustez frente a los desafíos de los datos capturados casualmente, empleamos diversas técnicas, incluyendo aumentos composicionales sobre la marcha, un esquema de entrenamiento curricular que abarca conjuntos de datos a nivel de objeto y de escena, y estrategias para manejar el desorden del fondo. Adicionalmente, introducimos un nuevo benchmark de evaluación que comprende 178 objetos en entornos naturales a lo largo de 7 escenas del mundo real con anotaciones geométricas. Los experimentos demuestran que ShapeR supera significativamente a los enfoques existentes en este entorno desafiante, logrando una mejora de 2.7x en la distancia de Chamfer en comparación con el estado del arte.
English
Recent advances in 3D shape generation have achieved impressive results, but most existing methods rely on clean, unoccluded, and well-segmented inputs. Such conditions are rarely met in real-world scenarios. We present ShapeR, a novel approach for conditional 3D object shape generation from casually captured sequences. Given an image sequence, we leverage off-the-shelf visual-inertial SLAM, 3D detection algorithms, and vision-language models to extract, for each object, a set of sparse SLAM points, posed multi-view images, and machine-generated captions. A rectified flow transformer trained to effectively condition on these modalities then generates high-fidelity metric 3D shapes. To ensure robustness to the challenges of casually captured data, we employ a range of techniques including on-the-fly compositional augmentations, a curriculum training scheme spanning object- and scene-level datasets, and strategies to handle background clutter. Additionally, we introduce a new evaluation benchmark comprising 178 in-the-wild objects across 7 real-world scenes with geometry annotations. Experiments show that ShapeR significantly outperforms existing approaches in this challenging setting, achieving an improvement of 2.7x in Chamfer distance compared to state of the art.