Steve-Evolving: Open-World Lichamelijke Zelf-evolutie via Fijnmazige Diagnose en Dual-Track Kennisdistillatie

Steve-Evolving: Open-World Embodied Self-Evolution via Fine-Grained Diagnosis and Dual-Track Knowledge Distillation

March 13, 2026

Auteurs: Zhengwei Xie, Zhisheng Chen, Ziyan Weng, Tingyu Wu, Chenglong Li, Vireo Zhang, Kun Wang

cs.AI

Samenvatting

Open-world belichaamde agenten moeten langetermijntaken oplossen waarbij de voornaamste beperking niet de planningskwaliteit per stap is, maar hoe de interactie-ervaring wordt georganiseerd en geëvolueerd. Hiertoe presenteren we Steve-Evolving, een niet-parametrisch zelf-evoluerend raamwerk dat fijnmazige uitvoeringsdiagnose nauw koppelt aan dual-track kennis-distillatie in een gesloten lus. De methode volgt drie fasen: Ervaring Ankering, Ervaring Distillatie en Kennisgedreven Gesloten-Lus Sturing. Concreet verankert Ervaring Ankering elke subdoelpoging in een gestructureerde ervaringstuple met een vast schema (pre-toestand, actie, diagnose-resultaat en post-toestand) en organiseert deze in een driedelige ervaringsruimte met multidimensionale indexen (bijvoorbeeld conditiesignaturen, ruimtelijke hashing en semantische tags) plus rollende samenvatting voor efficiënte en controleerbare terugvinding. Om voldoende informatiedichtheid voor attributie te garanderen, biedt de uitvoeringslaag compositionele diagnosesignalen verder dan binaire uitkomsten, inclusief toestandsverschilsamenvattingen, geënumereerde faaloorzaken, continue indicatoren en stagnatie/lusdetectie. Voorts worden succesvolle trajecten van Ervaring Distillatie gegeneraliseerd tot herbruikbare vaardigheden met expliciete precondities en verificatiecriteria, terwijl mislukkingen worden gedistilleerd tot uitvoerbare guardrails die hoofdoorzaken vastleggen en riskante operaties verbieden op zowel subdoel- als taakgranulariteit. Daarnaast worden bij Kennisgedreven Gesloten-Lus Sturing opgehaalde vaardigheden en guardrails geïnjecteerd in een LLM-planner, en vernieuwt diagnose-gestuurde lokale herplanning de actieve restricties online, wat een continu evolutieproces vormt zonder modelparameterupdates. Experimenten op de langetermijnsuite van Minecraft MCU tonen consistente verbeteringen ten opzichte van statische-retrieval-baselines.

English

Open-world embodied agents must solve long-horizon tasks where the main bottleneck is not single-step planning quality but how interaction experience is organized and evolved. To this end, we present Steve-Evolving, a non-parametric self-evolving framework that tightly couples fine-grained execution diagnosis with dual-track knowledge distillation in a closed loop. The method follows three phases: Experience Anchoring, Experience Distillation, and Knowledge-Driven Closed-Loop Control. In detail, Experience Anchoring solidifies each subgoal attempt into a structured experience tuple with a fixed schema (pre-state, action, diagnosis-result, and post-state) and organizes it in a three-tier experience space with multi-dimensional indices (e.g., condition signatures, spatial hashing, and semantic tags) plus rolling summarization for efficient and auditable recall. To ensure sufficient information density for attribution, the execution layer provides compositional diagnosis signals beyond binary outcomes, including state-difference summaries, enumerated failure causes, continuous indicators, and stagnation/loop detection. Moreover, successful trajectories of Experience Distillation are generalized into reusable skills with explicit preconditions and verification criteria, while failures are distilled into executable guardrails that capture root causes and forbid risky operations at both subgoal and task granularities. Besides, Knowledge-Driven Closed-Loop Control retrieved skills and guardrails are injected into an LLM planner, and diagnosis-triggered local replanning updates the active constraints online, forming a continual evolution process without any model parameter updates. Experiments on the long-horizon suite of Minecraft MCU demonstrate consistent improvements over static-retrieval baselines.