Regalieren, Stapeln, Aufhängen: Relationale Posendiffusion für multimodale Umordnung
Shelving, Stacking, Hanging: Relational Pose Diffusion for Multi-modal Rearrangement
July 10, 2023
Autoren: Anthony Simeonov, Ankit Goyal, Lucas Manuelli, Lin Yen-Chen, Alina Sarmiento, Alberto Rodriguez, Pulkit Agrawal, Dieter Fox
cs.AI
Zusammenfassung
Wir schlagen ein System vor, um Objekte in einer Szene neu anzuordnen, um eine gewünschte Objekt-Szene-Platzierungsbeziehung zu erreichen, wie beispielsweise ein Buch, das in einen offenen Schlitz eines Bücherregals eingefügt wird. Die Pipeline verallgemeinert auf neue Geometrien, Posen und Layouts sowohl von Szenen als auch von Objekten und wird anhand von Demonstrationen trainiert, um direkt auf 3D-Punktwolken zu operieren. Unser System überwindet Herausforderungen, die mit der Existenz vieler geometrisch ähnlicher Neuanordnungslösungen für eine gegebene Szene verbunden sind. Durch die Nutzung eines iterativen Pose-Entrauschungs-Trainingsverfahrens können wir multimodale Demonstrationsdaten anpassen und multimodale Ausgaben erzeugen, während wir präzise und genau bleiben. Wir zeigen auch die Vorteile der Konditionierung auf relevante lokale geometrische Merkmale, während irrelevante globale Strukturen ignoriert werden, die sowohl die Generalisierung als auch die Präzision beeinträchtigen. Wir demonstrieren unseren Ansatz an drei verschiedenen Neuanordnungsaufgaben, die den Umgang mit Multimodalität und Generalisierung über Objektform und -pose sowohl in der Simulation als auch in der realen Welt erfordern. Projektwebsite, Code und Videos: https://anthonysimeonov.github.io/rpdiff-multi-modal/
English
We propose a system for rearranging objects in a scene to achieve a desired
object-scene placing relationship, such as a book inserted in an open slot of a
bookshelf. The pipeline generalizes to novel geometries, poses, and layouts of
both scenes and objects, and is trained from demonstrations to operate directly
on 3D point clouds. Our system overcomes challenges associated with the
existence of many geometrically-similar rearrangement solutions for a given
scene. By leveraging an iterative pose de-noising training procedure, we can
fit multi-modal demonstration data and produce multi-modal outputs while
remaining precise and accurate. We also show the advantages of conditioning on
relevant local geometric features while ignoring irrelevant global structure
that harms both generalization and precision. We demonstrate our approach on
three distinct rearrangement tasks that require handling multi-modality and
generalization over object shape and pose in both simulation and the real
world. Project website, code, and videos:
https://anthonysimeonov.github.io/rpdiff-multi-modal/