Sequenzielle Geschicklichkeit: Verkettung geschickter Strategien für langfristige Manipulation

Sequential Dexterity: Chaining Dexterous Policies for Long-Horizon Manipulation

September 2, 2023

Autoren: Yuanpei Chen, Chen Wang, Li Fei-Fei, C. Karen Liu

cs.AI

Zusammenfassung

Viele reale Manipulationsaufgaben bestehen aus einer Reihe von Teilaufgaben, die sich deutlich voneinander unterscheiden. Solche langfristigen, komplexen Aufgaben verdeutlichen das Potenzial geschickter Hände, die über Anpassungsfähigkeit und Vielseitigkeit verfügen und nahtlos zwischen verschiedenen Funktionsmodi wechseln können, ohne dass ein Neugreifen oder externe Werkzeuge erforderlich sind. Die Herausforderungen ergeben sich jedoch aus dem hochdimensionalen Aktionsraum geschickter Hände und den komplexen, zusammengesetzten Dynamiken langfristiger Aufgaben. Wir präsentieren Sequential Dexterity, ein allgemeines System basierend auf Reinforcement Learning (RL), das mehrere geschickte Richtlinien verknüpft, um langfristige Aufgabenziele zu erreichen. Das Kernstück des Systems ist eine Übergangs-Machbarkeitsfunktion, die die Teilrichtlinien schrittweise verfeinert, um die Erfolgsrate der Verkettung zu erhöhen, und gleichzeitig autonomes Richtlinienwechseln ermöglicht, um sich von Fehlschlägen zu erholen und redundante Phasen zu umgehen. Obwohl unser System nur in der Simulation mit wenigen Aufgabenobjekten trainiert wurde, zeigt es eine Generalisierungsfähigkeit auf neue Objektformen und kann ohne Anpassung auf einen realen Roboter mit einer geschickten Hand übertragen werden. Weitere Details und Videoergebnisse finden Sie unter https://sequential-dexterity.github.io.

English

Many real-world manipulation tasks consist of a series of subtasks that are significantly different from one another. Such long-horizon, complex tasks highlight the potential of dexterous hands, which possess adaptability and versatility, capable of seamlessly transitioning between different modes of functionality without the need for re-grasping or external tools. However, the challenges arise due to the high-dimensional action space of dexterous hand and complex compositional dynamics of the long-horizon tasks. We present Sequential Dexterity, a general system based on reinforcement learning (RL) that chains multiple dexterous policies for achieving long-horizon task goals. The core of the system is a transition feasibility function that progressively finetunes the sub-policies for enhancing chaining success rate, while also enables autonomous policy-switching for recovery from failures and bypassing redundant stages. Despite being trained only in simulation with a few task objects, our system demonstrates generalization capability to novel object shapes and is able to zero-shot transfer to a real-world robot equipped with a dexterous hand. More details and video results could be found at https://sequential-dexterity.github.io