Стеллажи, штабелирование, подвешивание: реляционная диффузия поз для многомодальной реорганизации
Shelving, Stacking, Hanging: Relational Pose Diffusion for Multi-modal Rearrangement
July 10, 2023
Авторы: Anthony Simeonov, Ankit Goyal, Lucas Manuelli, Lin Yen-Chen, Alina Sarmiento, Alberto Rodriguez, Pulkit Agrawal, Dieter Fox
cs.AI
Аннотация
Мы предлагаем систему для перестановки объектов в сцене с целью достижения желаемого отношения размещения объекта в сцене, например, вставки книги в открытый слот книжной полки. Наш подход обобщается на новые геометрии, позы и компоновки как сцен, так и объектов, и обучается на демонстрациях для работы непосредственно с 3D-облаками точек. Наша система преодолевает проблемы, связанные с существованием множества геометрически схожих решений для перестановки в заданной сцене. Используя итеративную процедуру обучения для устранения шума в позах, мы можем адаптироваться к многомодальным данным демонстраций и генерировать многомодальные выходные данные, сохраняя при этом точность и аккуратность. Мы также показываем преимущества учета локальных геометрических особенностей при игнорировании нерелевантной глобальной структуры, которая ухудшает как обобщение, так и точность. Мы демонстрируем наш подход на трех различных задачах перестановки, требующих обработки многомодальности и обобщения формы и позы объектов как в симуляции, так и в реальном мире. Веб-сайт проекта, код и видео: https://anthonysimeonov.github.io/rpdiff-multi-modal/
English
We propose a system for rearranging objects in a scene to achieve a desired
object-scene placing relationship, such as a book inserted in an open slot of a
bookshelf. The pipeline generalizes to novel geometries, poses, and layouts of
both scenes and objects, and is trained from demonstrations to operate directly
on 3D point clouds. Our system overcomes challenges associated with the
existence of many geometrically-similar rearrangement solutions for a given
scene. By leveraging an iterative pose de-noising training procedure, we can
fit multi-modal demonstration data and produce multi-modal outputs while
remaining precise and accurate. We also show the advantages of conditioning on
relevant local geometric features while ignoring irrelevant global structure
that harms both generalization and precision. We demonstrate our approach on
three distinct rearrangement tasks that require handling multi-modality and
generalization over object shape and pose in both simulation and the real
world. Project website, code, and videos:
https://anthonysimeonov.github.io/rpdiff-multi-modal/