Prateleiras, Empilhamento, Suspensão: Difusão de Pose Relacional para Rearranjo Multimodal
Shelving, Stacking, Hanging: Relational Pose Diffusion for Multi-modal Rearrangement
July 10, 2023
Autores: Anthony Simeonov, Ankit Goyal, Lucas Manuelli, Lin Yen-Chen, Alina Sarmiento, Alberto Rodriguez, Pulkit Agrawal, Dieter Fox
cs.AI
Resumo
Propomos um sistema para reorganizar objetos em uma cena a fim de alcançar uma relação desejada de posicionamento objeto-cena, como um livro inserido em uma abertura de uma estante. O pipeline generaliza para geometrias, poses e layouts novos de cenas e objetos, e é treinado a partir de demonstrações para operar diretamente em nuvens de pontos 3D. Nosso sistema supera os desafios associados à existência de muitas soluções geometricamente semelhantes para reorganização em uma determinada cena. Ao aproveitar um procedimento de treinamento iterativo de remoção de ruído de pose, conseguimos ajustar dados de demonstração multimodais e produzir saídas multimodais, mantendo precisão e exatidão. Também mostramos as vantagens de condicionar em características geométricas locais relevantes, ignorando a estrutura global irrelevante que prejudica tanto a generalização quanto a precisão. Demonstramos nossa abordagem em três tarefas distintas de reorganização que exigem o tratamento de multimodalidade e generalização sobre a forma e a pose de objetos, tanto em simulação quanto no mundo real. Site do projeto, código e vídeos: https://anthonysimeonov.github.io/rpdiff-multi-modal/
English
We propose a system for rearranging objects in a scene to achieve a desired
object-scene placing relationship, such as a book inserted in an open slot of a
bookshelf. The pipeline generalizes to novel geometries, poses, and layouts of
both scenes and objects, and is trained from demonstrations to operate directly
on 3D point clouds. Our system overcomes challenges associated with the
existence of many geometrically-similar rearrangement solutions for a given
scene. By leveraging an iterative pose de-noising training procedure, we can
fit multi-modal demonstration data and produce multi-modal outputs while
remaining precise and accurate. We also show the advantages of conditioning on
relevant local geometric features while ignoring irrelevant global structure
that harms both generalization and precision. We demonstrate our approach on
three distinct rearrangement tasks that require handling multi-modality and
generalization over object shape and pose in both simulation and the real
world. Project website, code, and videos:
https://anthonysimeonov.github.io/rpdiff-multi-modal/