AnyTeleop: 汎用視覚ベースの器用なロボットアーム・ハンド遠隔操作システム

要旨

ビジョンベースのテレオペレーションは、ロボットに環境と物理的に相互作用するための人間レベルの知能を付与する可能性を提供し、低コストのカメラセンサーのみを必要とします。しかし、現在のビジョンベースのテレオペレーションシステムは、特定のロボットモデルと展開環境に向けて設計・構築されており、ロボットモデルのプールが拡大し、操作環境の多様性が増すにつれて、スケーラビリティが低くなります。本論文では、AnyTeleopを提案します。これは、単一のシステム内で複数の異なるアーム、ハンド、現実、およびカメラ構成をサポートする統一された汎用テレオペレーションシステムです。シミュレーターと実ハードウェアの選択に大きな柔軟性を提供するように設計されているにもかかわらず、我々のシステムは依然として優れた性能を達成できます。実世界の実験では、AnyTeleopは、特定のロボットハードウェア向けに設計された以前のシステムを、同じロボットを使用してより高い成功率で上回ることができます。シミュレーションにおけるテレオペレーションでは、AnyTeleopは、そのシミュレーター向けに特別に設計された以前のシステムと比較して、より良い模倣学習性能をもたらします。プロジェクトページ: http://anyteleop.com/。

English

Vision-based teleoperation offers the possibility to endow robots with human-level intelligence to physically interact with the environment, while only requiring low-cost camera sensors. However, current vision-based teleoperation systems are designed and engineered towards a particular robot model and deploy environment, which scales poorly as the pool of the robot models expands and the variety of the operating environment increases. In this paper, we propose AnyTeleop, a unified and general teleoperation system to support multiple different arms, hands, realities, and camera configurations within a single system. Although being designed to provide great flexibility to the choice of simulators and real hardware, our system can still achieve great performance. For real-world experiments, AnyTeleop can outperform a previous system that was designed for a specific robot hardware with a higher success rate, using the same robot. For teleoperation in simulation, AnyTeleop leads to better imitation learning performance, compared with a previous system that is particularly designed for that simulator. Project page: http://anyteleop.com/.

AnyTeleop: 汎用視覚ベースの器用なロボットアーム・ハンド遠隔操作システム

AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System

要旨

Support