Deform360: Ein massiver Multi-View-Visuotaktiler Datensatz für Deformierbare Weltmodelle

Zusammenfassung

Die Vorhersage der Objektdynamik (d.h. Weltmodellierung) ist eine grundlegende Herausforderung für die Robotermanipulation, wobei die Modellierung verformbarer Objekte aufgrund ihrer hochdimensionalen Zustandsräume und komplexen Materialeigenschaften einen besonders schwierigen Fall darstellt. Aktuelle Weltmodelle nähern sich diesem Problem durch zwei unterschiedliche Paradigmen: das Erlernen der Dynamik im 2D-Pixelraum oder im expliziteren 3D-Geometrieraum. Ein systematisches Verständnis ihrer relativen Stärken und Grenzen bleibt jedoch aufgrund des Mangels an vielfältigen, großflächigen realen Daten schwer fassbar. Um dieses Problem anzugehen, stellen wir Deform360 vor, einen großflächigen visuotaktilen Datensatz mit 198 Alltagsgegenständen, 1.980 Interaktionssequenzen und über 215 Stunden Beobachtungen von 41 Rundumsichtkameras und bimanuellen taktilen Greifern, um sowohl globale Bewegungen als auch kontaktinduzierte lokale Verformungen zu erfassen. Unter Nutzung einer neuartigen markerlosen visuotaktilen 3D-Verfolgungspipeline zur Extraktion dichter Geometrie und Bewegung evaluieren wir systematisch moderne Weltmodelle und vergleichen 2D-Videomodelle mit 3D-Partikelmodellen. Schließlich liefern wir eine vorläufige Demonstration, die die praktische Anwendbarkeit unseres Datensatzes durch die Durchführung von Roboterplanungsaufgaben an verformbaren Objekten belegt. Unsere Analyse liefert wichtige Erkenntnisse über die Kompromisse zwischen strukturellen Prioritäten und Skalierbarkeit und bietet eine solide Benchmark für zukünftige Forschung in der generalisierbaren objektzentrierten Weltmodellierung verformbarer Objekte. Projektwebsite: https://deform360.lhy.xyz

English

Predicting object dynamics (i.e., world modeling) is a fundamental challenge for robotic manipulation, and modeling deformable objects presents a particularly difficult case due to their high-dimensional state spaces and complex material properties. While current world models approach this through two distinct paradigms: learning the dynamics over the 2D pixel space or more explicit 3D geometric space. A systematic understanding of their relative strengths and limitations remains elusive due to the lack of diverse, large-scale real-world data. To address this, we present Deform360, a large-scale visuotactile dataset featuring 198 daily-life objects, 1,980 interaction sequences, and over 215 hours of observations from 41 surround-view cameras and bimanual tactile grippers to capture both global motion and contact-induced local deformations. Leveraging a novel markerless visuotactile 3D tracking pipeline to extract dense geometry and motion, we systematically evaluate current state-of-the-art world models, comparing 2D video models against 3D particle models. Finally, we provide a preliminary demonstration indicating the real-world applicability of our dataset by performing robot planning tasks on deformable objects. Our analysis reveals key insights into the trade-offs between structural priors and scalability, providing a solid benchmark for future research in generalizable deformable object-centric world modeling. Project website: https://deform360.lhy.xyz