Estanterías, Apilamiento, Colgado: Difusión de Posturas Relacionales para la Reorganización Multimodal
Shelving, Stacking, Hanging: Relational Pose Diffusion for Multi-modal Rearrangement
July 10, 2023
Autores: Anthony Simeonov, Ankit Goyal, Lucas Manuelli, Lin Yen-Chen, Alina Sarmiento, Alberto Rodriguez, Pulkit Agrawal, Dieter Fox
cs.AI
Resumen
Proponemos un sistema para reorganizar objetos en una escena con el fin de lograr una relación deseada entre el objeto y la escena, como insertar un libro en una ranura abierta de una estantería. La pipeline se generaliza a geometrías, poses y disposiciones novedosas tanto de las escenas como de los objetos, y se entrena a partir de demostraciones para operar directamente sobre nubes de puntos 3D. Nuestro sistema supera los desafíos asociados con la existencia de múltiples soluciones de reorganización geométricamente similares para una escena dada. Al aprovechar un procedimiento de entrenamiento iterativo de eliminación de ruido en la pose, podemos ajustar datos de demostración multimodales y producir salidas multimodales manteniendo la precisión y exactitud. También mostramos las ventajas de condicionar el sistema en características geométricas locales relevantes mientras se ignora la estructura global irrelevante que perjudica tanto la generalización como la precisión. Demostramos nuestro enfoque en tres tareas de reorganización distintas que requieren manejar la multimodalidad y la generalización sobre la forma y la pose de los objetos, tanto en simulación como en el mundo real. Sitio web del proyecto, código y videos: https://anthonysimeonov.github.io/rpdiff-multi-modal/
English
We propose a system for rearranging objects in a scene to achieve a desired
object-scene placing relationship, such as a book inserted in an open slot of a
bookshelf. The pipeline generalizes to novel geometries, poses, and layouts of
both scenes and objects, and is trained from demonstrations to operate directly
on 3D point clouds. Our system overcomes challenges associated with the
existence of many geometrically-similar rearrangement solutions for a given
scene. By leveraging an iterative pose de-noising training procedure, we can
fit multi-modal demonstration data and produce multi-modal outputs while
remaining precise and accurate. We also show the advantages of conditioning on
relevant local geometric features while ignoring irrelevant global structure
that harms both generalization and precision. We demonstrate our approach on
three distinct rearrangement tasks that require handling multi-modality and
generalization over object shape and pose in both simulation and the real
world. Project website, code, and videos:
https://anthonysimeonov.github.io/rpdiff-multi-modal/