Steve-Evolving：通过细粒度诊断与双轨知识蒸馏实现开放世界具身自我进化

Steve-Evolving: Open-World Embodied Self-Evolution via Fine-Grained Diagnosis and Dual-Track Knowledge Distillation

March 13, 2026

Autori: Zhengwei Xie, Zhisheng Chen, Ziyan Weng, Tingyu Wu, Chenglong Li, Vireo Zhang, Kun Wang

cs.AI

Abstract

Gli agenti embodied in mondi aperti devono risolvere compiti a lungo termine in cui il collo di bottiglia principale non è la qualità della pianificazione passo-passo, ma come l'esperienza interattiva viene organizzata ed evoluta. A tal fine, presentiamo Steve-Evolving, un framework auto-evolutivo non parametrico che accoppia strettamente la diagnosi di esecuzione granulare con la distillazione dual-track della conoscenza in un ciclo chiuso. Il metodo segue tre fasi: Ancoraggio dell'Esperienza, Distillazione dell'Esperienza e Controllo a Ciclo Chiuso Guidato dalla Conoscenza. Nel dettaglio, l'Ancoraggio dell'Esperienza solidifica ogni tentativo di sottobiettivo in una tupla di esperienza strutturata con uno schema fisso (pre-stato, azione, diagnosi-risultato e post-stato) e la organizza in uno spazio esperienziale a tre livelli con indici multidimensionali (ad esempio, firme condizionali, hashing spaziale e tag semantici) più una summarizzazione rolling per un richiamo efficiente e verificabile. Per garantire una densità informativa sufficiente per l'attribuzione, il livello di esecuzione fornisce segnali diagnostici compositi che vanno oltre gli esiti binari, inclusi sommari delle differenze di stato, cause di fallimento enumerate, indicatori continui e rilevamento di stalli/cicli. Inoltre, le traiettorie di successo della Distillazione dell'Esperienza vengono generalizzate in abilità riutilizzabili con precondizioni esplicite e criteri di verifica, mentre i fallimenti vengono distillati in guardrail eseguibili che catturano le cause profonde e vietano operazioni rischiose sia a livello di sottobiettivo che di task. Oltre a ciò, il Controllo a Ciclo Chiuso Guidato dalla Conoscenza inietta le abilità e i guardrail recuperati in un pianificatore LLM, e il ripianificamento locale attivato dalla diagnosi aggiorna online i vincoli attivi, formando un processo di evoluzione continua senza alcun aggiornamento dei parametri del modello. Esperimenti sulla suite a lungo termine Minecraft MCU dimostrano miglioramenti consistenti rispetto ai baseline di retrieval statico.

English

Open-world embodied agents must solve long-horizon tasks where the main bottleneck is not single-step planning quality but how interaction experience is organized and evolved. To this end, we present Steve-Evolving, a non-parametric self-evolving framework that tightly couples fine-grained execution diagnosis with dual-track knowledge distillation in a closed loop. The method follows three phases: Experience Anchoring, Experience Distillation, and Knowledge-Driven Closed-Loop Control. In detail, Experience Anchoring solidifies each subgoal attempt into a structured experience tuple with a fixed schema (pre-state, action, diagnosis-result, and post-state) and organizes it in a three-tier experience space with multi-dimensional indices (e.g., condition signatures, spatial hashing, and semantic tags) plus rolling summarization for efficient and auditable recall. To ensure sufficient information density for attribution, the execution layer provides compositional diagnosis signals beyond binary outcomes, including state-difference summaries, enumerated failure causes, continuous indicators, and stagnation/loop detection. Moreover, successful trajectories of Experience Distillation are generalized into reusable skills with explicit preconditions and verification criteria, while failures are distilled into executable guardrails that capture root causes and forbid risky operations at both subgoal and task granularities. Besides, Knowledge-Driven Closed-Loop Control retrieved skills and guardrails are injected into an LLM planner, and diagnosis-triggered local replanning updates the active constraints online, forming a continual evolution process without any model parameter updates. Experiments on the long-horizon suite of Minecraft MCU demonstrate consistent improvements over static-retrieval baselines.