ASPIRE: Agentische vaardighedendetectie voor robotica

Samenvatting

Traditionele robotprogrammering is uitdagend: het vereist het orkestreren van multimodale perceptie, het beheren van fysieke contactdynamica en het omgaan met diverse configuraties en uitvoeringsfouten. We introduceren ASPIRE (Agentic Skill Programming through Iterative Robot Exploration), een continuerend leersysteem dat autonoom robotbesturingsprogramma's schrijft en verfijnt in een code-als-beleid paradigma, terwijl ervaring wordt samengevoegd tot een herbruikbare vaardigheidsbibliotheek. ASPIRE ontdekt vaardigheden die blijven bestaan over taken, simulatie- en real-world omgevingen en belichamingen. Het werkt in een open-eind lus met drie componenten: (1) een gesloten-lus robotuitvoeringsengine die fijnmazige multimodale traces blootlegt, waardoor autonome foutdiagnose, herstelsynthese en validatie mogelijk wordt; (2) een continu uitbreidende vaardigheidsbibliotheek die gevalideerde reparaties distilleert tot herbruikbare, overdraagbare kennis; en (3) evolutionair zoeken dat diverse taaksequenties en besturingsprogramma's genereert om verder te verkennen dan enkelvoudige trajectverfijning. ASPIRE overtreft eerdere methoden met tot 77% op LIBERO-Pro-manipulatie onder verstoring, 72% op Robosuite bimanuele overdracht en 32% op BEHAVIOR-1K langdurige huishoudelijke taken. De opgebouwde bibliotheek maakt ook nul-shot generalisatie naar onvoorziene langdurige taken mogelijk: op LIBERO-Pro Long behaalt ASPIRE 31% succes tegenover 4% voor eerdere methoden, ondanks hun gebruik van testtijd redeneren en herpogingen. Tot slot bieden in simulatie ontdekte vaardigheden eerste bewijs van sim-naar-real transfer, waardoor de programmeerinspanning voor echte robots aanzienlijk wordt verminderd, over verschillende belichamingen en robot-API's.

English

Traditional robot programming is challenging: it requires orchestrating multimodal perception, managing physical contact dynamics, and handling diverse configurations and execution failures. We introduce ASPIRE (Agentic Skill Programming through Iterative Robot Exploration), a continual learning system that autonomously writes and refines robot control programs in a code-as-policy paradigm while compounding experience into a reusable skill library. ASPIRE discovers skills that persist across tasks, simulation and real-world settings, and embodiments. It operates in an open-ended loop with three components: (1) a closed-loop robot execution engine that exposes fine-grained multimodal traces, enabling autonomous failure diagnosis, repair synthesis, and validation; (2) a continually expanding skill library that distills validated fixes into reusable, transferable knowledge; and (3) evolutionary search that generates diverse task sequences and control programs to explore beyond single-trajectory refinement. ASPIRE surpasses prior methods by up to 77% on LIBERO-Pro manipulation under perturbation, 72% on Robosuite bimanual handover, and 32% on BEHAVIOR-1K long-horizon household tasks. Its accumulated library also enables zero-shot generalization to unseen long-horizon tasks: on LIBERO-Pro Long, ASPIRE achieves 31% success versus 4% for prior methods despite their use of test-time reasoning and retries. Finally, simulation-discovered skills provide initial evidence of sim-to-real transfer, substantially reducing real-robot programming effort across different embodiments and robot APIs.