Steve-Evolving: Auto-evolución Embebida en Mundo Abierto mediante Diagnóstico de Grano Fino y Destilación Dual de Conocimiento

Steve-Evolving: Open-World Embodied Self-Evolution via Fine-Grained Diagnosis and Dual-Track Knowledge Distillation

March 13, 2026

Autores: Zhengwei Xie, Zhisheng Chen, Ziyan Weng, Tingyu Wu, Chenglong Li, Vireo Zhang, Kun Wang

cs.AI

Resumen

Los agentes corporizados en mundos abiertos deben resolver tareas de largo horizonte donde el cuello de botella principal no es la calidad de la planificación paso a paso, sino cómo se organiza y evoluciona la experiencia de interacción. Para ello, presentamos Steve-Evolving, un marco auto-evolutivo no paramétrico que acopla estrechamente el diagnóstico de ejecución granular con la destilación dual de conocimiento en un bucle cerrado. El método sigue tres fases: Anclaje de Experiencia, Destilación de Experiencia y Control de Bucle Cerrado Impulsado por Conocimiento. En detalle, el Anclaje de Experiencia solidifica cada intento de subobjetivo en una tupla de experiencia estructurada con un esquema fijo (pre-estado, acción, diagnóstico-resultado y post-estado) y lo organiza en un espacio de experiencia de tres niveles con índices multidimensionales (por ejemplo, firmas de condición, hashing espacial y etiquetas semánticas) más una sumarización continua para una recuperación eficiente y auditable. Para garantizar una densidad de información suficiente para la atribución, la capa de ejecución proporciona señales de diagnóstico composicionales más allá de los resultados binarios, incluyendo resúmenes de diferencias de estado, causas de fallo enumeradas, indicadores continuos y detección de estancamiento/bucles. Además, las trayectorias exitosas de la Destilación de Experiencia se generalizan en habilidades reutilizables con precondiciones explícitas y criterios de verificación, mientras que los fallos se destilan en barreras de protección ejecutables que capturan causas raíz y prohíben operaciones riesgosas tanto a nivel de subobjetivo como de tarea. Por otro lado, en el Control de Bucle Cerrado Impulsado por Conocimiento, las habilidades y barreras recuperadas se inyectan en un planificador LLM, y la replanificación local activada por diagnóstico actualiza en línea las restricciones activas, formando un proceso de evolución continua sin actualizaciones de parámetros del modelo. Los experimentos en la suite de largo horizonte de Minecraft MCU demuestran mejoras consistentes respecto a líneas base de recuperación estática.

English

Open-world embodied agents must solve long-horizon tasks where the main bottleneck is not single-step planning quality but how interaction experience is organized and evolved. To this end, we present Steve-Evolving, a non-parametric self-evolving framework that tightly couples fine-grained execution diagnosis with dual-track knowledge distillation in a closed loop. The method follows three phases: Experience Anchoring, Experience Distillation, and Knowledge-Driven Closed-Loop Control. In detail, Experience Anchoring solidifies each subgoal attempt into a structured experience tuple with a fixed schema (pre-state, action, diagnosis-result, and post-state) and organizes it in a three-tier experience space with multi-dimensional indices (e.g., condition signatures, spatial hashing, and semantic tags) plus rolling summarization for efficient and auditable recall. To ensure sufficient information density for attribution, the execution layer provides compositional diagnosis signals beyond binary outcomes, including state-difference summaries, enumerated failure causes, continuous indicators, and stagnation/loop detection. Moreover, successful trajectories of Experience Distillation are generalized into reusable skills with explicit preconditions and verification criteria, while failures are distilled into executable guardrails that capture root causes and forbid risky operations at both subgoal and task granularities. Besides, Knowledge-Driven Closed-Loop Control retrieved skills and guardrails are injected into an LLM planner, and diagnosis-triggered local replanning updates the active constraints online, forming a continual evolution process without any model parameter updates. Experiments on the long-horizon suite of Minecraft MCU demonstrate consistent improvements over static-retrieval baselines.