Steve-Evolving: Open-World Verkörpertes Selbst-Evolution durch Fein-Granulare Diagnose und Dual-Track Wissensdistillation

Steve-Evolving: Open-World Embodied Self-Evolution via Fine-Grained Diagnosis and Dual-Track Knowledge Distillation

March 13, 2026

Autoren: Zhengwei Xie, Zhisheng Chen, Ziyan Weng, Tingyu Wu, Chenglong Li, Vireo Zhang, Kun Wang

cs.AI

Zusammenfassung

Open-World-Embodied-Agents müssen langfristige Aufgaben lösen, bei denen der Engpass nicht die Qualität der Einzelschritt-Planung ist, sondern wie Interaktionserfahrung organisiert und weiterentwickelt wird. Zu diesem Zweck stellen wir Steve-Evolving vor, einen nicht-parametrischen, sich selbst weiterentwickelnden Rahmen, der feinkörnige Ausführungsdiagnose eng mit dualer Wissensdistillation in einer geschlossenen Schleife koppelt. Die Methode folgt drei Phasen: Erfahrungsverankerung, Erfahrungsdistillation und wissensgesteuerte Regelung mit geschlossenem Kreislauf. Im Einzelnen verankert die Erfahrungsverankerung jeden Teilzielversuch in einem strukturierten Erfahrungstupel mit festem Schema (Vor-Zustand, Aktion, Diagnose-Ergebnis und Nach-Zustand) und organisiert es in einem dreistufigen Erfahrungsraum mit mehrdimensionalen Indizes (z.B. Zustandssignaturen, räumliche Hashverfahren und semantische Tags) plus rollierender Zusammenfassung für effizienten und nachvollziehbaren Abruf. Um eine ausreichende Informationsdichte für die Zuschreibung sicherzustellen, liefert die Ausführungsschicht kompositionelle Diagnosesignale über binäre Ergebnisse hinaus, einschließlich Zustandsdifferenz-Zusammenfassungen, enumerierter Fehlerursachen, kontinuierlicher Indikatoren und Erkennung von Stillstand/Schleifen. Darüber hinaus werden erfolgreiche Trajektorien in der Erfahrungsdistillation zu wiederverwendbaren Fähigkeiten mit expliziten Vorbedingungen und Verifikationskriterien generalisiert, während Fehler in ausführbare Schutzvorkehrungen destilliert werden, die Ursachen erfassen und riskante Operationen sowohl auf Teilziel- als auch auf Aufgabengranularität verbieten. Zusätzlich werden bei der wissensgesteuerten Regelung mit geschlossenem Kreislauf abgerufene Fähigkeiten und Schutzvorkehrungen in einen LLM-Planer injiziert, und diagnosegesteuerte lokale Neuplanung aktualisiert die aktiven Einschränkungen online, was einen kontinuierlichen Entwicklungsprozess ohne Aktualisierung von Modellparametern bildet. Experimente mit dem Langzeitsuite von Minecraft MCU demonstrieren konsistente Verbesserungen gegenüber Baseline-Methoden mit statischer Wiederauffindung.

English

Open-world embodied agents must solve long-horizon tasks where the main bottleneck is not single-step planning quality but how interaction experience is organized and evolved. To this end, we present Steve-Evolving, a non-parametric self-evolving framework that tightly couples fine-grained execution diagnosis with dual-track knowledge distillation in a closed loop. The method follows three phases: Experience Anchoring, Experience Distillation, and Knowledge-Driven Closed-Loop Control. In detail, Experience Anchoring solidifies each subgoal attempt into a structured experience tuple with a fixed schema (pre-state, action, diagnosis-result, and post-state) and organizes it in a three-tier experience space with multi-dimensional indices (e.g., condition signatures, spatial hashing, and semantic tags) plus rolling summarization for efficient and auditable recall. To ensure sufficient information density for attribution, the execution layer provides compositional diagnosis signals beyond binary outcomes, including state-difference summaries, enumerated failure causes, continuous indicators, and stagnation/loop detection. Moreover, successful trajectories of Experience Distillation are generalized into reusable skills with explicit preconditions and verification criteria, while failures are distilled into executable guardrails that capture root causes and forbid risky operations at both subgoal and task granularities. Besides, Knowledge-Driven Closed-Loop Control retrieved skills and guardrails are injected into an LLM planner, and diagnosis-triggered local replanning updates the active constraints online, forming a continual evolution process without any model parameter updates. Experiments on the long-horizon suite of Minecraft MCU demonstrate consistent improvements over static-retrieval baselines.