棚上げ、積み上げ、吊り下げ：マルチモーダル再配置のための関係的ポーズ拡散
Shelving, Stacking, Hanging: Relational Pose Diffusion for Multi-modal Rearrangement
July 10, 2023
著者: Anthony Simeonov, Ankit Goyal, Lucas Manuelli, Lin Yen-Chen, Alina Sarmiento, Alberto Rodriguez, Pulkit Agrawal, Dieter Fox
cs.AI
要旨
本論文では、書籍を本棚の開いたスロットに挿入するなど、所望の物体とシーンの配置関係を実現するために、シーン内の物体を再配置するシステムを提案する。このパイプラインは、シーンと物体の新しい形状、姿勢、レイアウトに一般化でき、3D点群上で直接動作するようデモンストレーションから訓練される。本システムは、与えられたシーンに対して幾何学的に類似した再配置解が多数存在するという課題を克服する。反復的な姿勢ノイズ除去訓練プロセスを活用することで、多様なデモンストレーションデータに適合し、多様な出力を生成しながらも、精度と正確性を維持する。また、一般化と精度を損なう無関係なグローバル構造を無視し、関連する局所的な幾何学的特徴に条件付けを行う利点を示す。シミュレーションと実世界の両方において、物体の形状と姿勢に対する多様性と一般化を扱う必要がある3つの異なる再配置タスクに対して、本アプローチを実証する。プロジェクトのウェブサイト、コード、およびビデオは以下の通り：https://anthonysimeonov.github.io/rpdiff-multi-modal/
English
We propose a system for rearranging objects in a scene to achieve a desired
object-scene placing relationship, such as a book inserted in an open slot of a
bookshelf. The pipeline generalizes to novel geometries, poses, and layouts of
both scenes and objects, and is trained from demonstrations to operate directly
on 3D point clouds. Our system overcomes challenges associated with the
existence of many geometrically-similar rearrangement solutions for a given
scene. By leveraging an iterative pose de-noising training procedure, we can
fit multi-modal demonstration data and produce multi-modal outputs while
remaining precise and accurate. We also show the advantages of conditioning on
relevant local geometric features while ignoring irrelevant global structure
that harms both generalization and precision. We demonstrate our approach on
three distinct rearrangement tasks that require handling multi-modality and
generalization over object shape and pose in both simulation and the real
world. Project website, code, and videos:
https://anthonysimeonov.github.io/rpdiff-multi-modal/