ASPIRE: Agentische / Fähigkeitenentdeckung für Robotik

Zusammenfassung

Die traditionelle Roboterprogrammierung ist herausfordernd: Sie erfordert die Orchestrierung multimodaler Wahrnehmung, die Bewältigung physikalischer Kontaktdynamiken sowie den Umgang mit verschiedenen Konfigurationen und Ausführungsfehlern. Wir stellen ASPIRE (Agentic Skill Programming through Iterative Robot Exploration) vor, ein kontinuierliches Lernsystem, das autonom Roboterkontrollprogramme in einem Code-as-Policy-Paradigma schreibt und verfeinert, während es Erfahrungen in einer wiederverwendbaren Fähigkeitsbibliothek bündelt. ASPIRE entdeckt Fähigkeiten, die über Aufgaben, Simulations- und reale Umgebungen sowie Verkörperungen hinweg bestehen bleiben. Es arbeitet in einer offenen Schleife mit drei Komponenten: (1) einer Robot-Ausführungs-Engine mit geschlossenem Regelkreis, die feinkörnige multimodale Spuren bereitstellt und so eine autonome Fehlerdiagnose, Reparatursynthese und Validierung ermöglicht; (2) einer sich ständig erweiternden Fähigkeitsbibliothek, die validierte Korrekturen in wiederverwendbares, übertragbares Wissen destilliert; und (3) einer evolutionären Suche, die vielfältige Aufgabenabfolgen und Kontrollprogramme generiert, um über die Verfeinerung einzelner Trajektorien hinaus zu explorieren. ASPIRE übertrifft frühere Methoden um bis zu 77% bei LIBERO-Pro-Manipulation unter Störung, 72% bei beidhändiger Robosuite-Übergabe und 32% bei langfristigen Haushaltsaufgaben aus BEHAVIOR-1K. Seine akkumulierte Bibliothek ermöglicht zudem eine Zero-Shot-Generalisierung auf unbekannte langfristige Aufgaben: Bei LIBERO-Pro Long erreicht ASPIRE 31% Erfolg gegenüber 4% für frühere Methoden, trotz deren Nutzung von Testzeit-Schlussfolgerungen und Wiederholungen. Schließlich liefern simulationsentdeckte Fähigkeiten erste Belege für den Sim-to-Real-Transfer, was den Programmieraufwand für reale Roboter bei unterschiedlichen Verkörperungen und Robot-APIs erheblich reduziert.

English

Traditional robot programming is challenging: it requires orchestrating multimodal perception, managing physical contact dynamics, and handling diverse configurations and execution failures. We introduce ASPIRE (Agentic Skill Programming through Iterative Robot Exploration), a continual learning system that autonomously writes and refines robot control programs in a code-as-policy paradigm while compounding experience into a reusable skill library. ASPIRE discovers skills that persist across tasks, simulation and real-world settings, and embodiments. It operates in an open-ended loop with three components: (1) a closed-loop robot execution engine that exposes fine-grained multimodal traces, enabling autonomous failure diagnosis, repair synthesis, and validation; (2) a continually expanding skill library that distills validated fixes into reusable, transferable knowledge; and (3) evolutionary search that generates diverse task sequences and control programs to explore beyond single-trajectory refinement. ASPIRE surpasses prior methods by up to 77% on LIBERO-Pro manipulation under perturbation, 72% on Robosuite bimanual handover, and 32% on BEHAVIOR-1K long-horizon household tasks. Its accumulated library also enables zero-shot generalization to unseen long-horizon tasks: on LIBERO-Pro Long, ASPIRE achieves 31% success versus 4% for prior methods despite their use of test-time reasoning and retries. Finally, simulation-discovered skills provide initial evidence of sim-to-real transfer, substantially reducing real-robot programming effort across different embodiments and robot APIs.