ShapeR: Robuste bedingte 3D-Formgenerierung aus beiläufigen Aufnahmen
ShapeR: Robust Conditional 3D Shape Generation from Casual Captures
January 16, 2026
papers.authors: Yawar Siddiqui, Duncan Frost, Samir Aroudj, Armen Avetisyan, Henry Howard-Jenkins, Daniel DeTone, Pierre Moulon, Qirui Wu, Zhengqin Li, Julian Straub, Richard Newcombe, Jakob Engel
cs.AI
papers.abstract
Jüngste Fortschritte bei der 3D-Formgenerierung haben beeindruckende Ergebnisse erzielt, die meisten bestehenden Methoden setzen jedoch saubere, unverdeckte und gut segmentierte Eingabedaten voraus. Solche Bedingungen sind in realen Szenarien selten gegeben. Wir stellen ShapeR vor, einen neuartigen Ansatz zur bedingten 3D-Objektshape-Generierung aus beiläufig aufgenommenen Sequenzen. Ausgehend von einer Bildsequenz nutzen wir verfügbare Visual-Inertial-SLAM-Verfahren, 3D-Erkennungsalgorithmen und Vision-Language-Modelle, um für jedes Objekt eine Menge sparser SLAM-Punkte, posen-kalibrierte Multi-View-Bilder und maschinell generierte Bildbeschreibungen zu extrahieren. Ein rectified Flow-Transformer, der darauf trainiert ist, effektiv auf diese Modalitäten zu konditionieren, generiert dann hochauflösende metrische 3D-Formen. Um die Robustheit gegenüber den Herausforderungen beiläufig erfasster Daten zu gewährleisten, setzen wir eine Reihe von Techniken ein, darunter On-the-fly-kompositionelle Augmentierungen, ein Curriculum-Training-Schema über Objekt- und Szenenebenen-Datensätze hinweg sowie Strategien zur Handhabung von Hintergrundunordnung. Zusätzlich führen wir einen neuen Evaluierungsbenchmark ein, der 178 Objekte "in the wild" über 7 reale Szenen mit Geometrie-Annotationen umfasst. Experimente zeigen, dass ShapeR in dieser anspruchsvollen Umgebung bestehende Ansätze signifikant übertrifft und eine Verbesserung der Chamfer-Distanz um den Faktor 2,7 gegenüber dem State-of-the-Art erreicht.
English
Recent advances in 3D shape generation have achieved impressive results, but most existing methods rely on clean, unoccluded, and well-segmented inputs. Such conditions are rarely met in real-world scenarios. We present ShapeR, a novel approach for conditional 3D object shape generation from casually captured sequences. Given an image sequence, we leverage off-the-shelf visual-inertial SLAM, 3D detection algorithms, and vision-language models to extract, for each object, a set of sparse SLAM points, posed multi-view images, and machine-generated captions. A rectified flow transformer trained to effectively condition on these modalities then generates high-fidelity metric 3D shapes. To ensure robustness to the challenges of casually captured data, we employ a range of techniques including on-the-fly compositional augmentations, a curriculum training scheme spanning object- and scene-level datasets, and strategies to handle background clutter. Additionally, we introduce a new evaluation benchmark comprising 178 in-the-wild objects across 7 real-world scenes with geometry annotations. Experiments show that ShapeR significantly outperforms existing approaches in this challenging setting, achieving an improvement of 2.7x in Chamfer distance compared to state of the art.