Steve-Evolving: Эволюция воплощенного интеллекта в открытом мире через детальную диагностику и двухуровневое извлечение знаний

Steve-Evolving: Open-World Embodied Self-Evolution via Fine-Grained Diagnosis and Dual-Track Knowledge Distillation

March 13, 2026

Авторы: Zhengwei Xie, Zhisheng Chen, Ziyan Weng, Tingyu Wu, Chenglong Li, Vireo Zhang, Kun Wang

cs.AI

Аннотация

Автономные агенты в открытом мире должны решать долгосрочные задачи, где основным ограничением является не качество пошагового планирования, а организация и эволюция опыта взаимодействия. Для решения этой проблемы мы представляем Steve-Evolving — непараметрическую саморазвивающуюся структуру, которая тесно связывает детальную диагностику выполнения с двунаправленной дистилляцией знаний в замкнутом цикле. Метод следует трем фазам: Анкетирование Опыта, Дистилляция Опыта и Управление с Обратной Связью на Основе Знаний. В частности, Анкетирование Опыта фиксирует каждую попытку достижения подцели в виде структурированного кортежа опыта с фиксированной схемой (предшествующее состояние, действие, результат-диагностики и последующее состояние) и организует его в трехуровневом пространстве опыта с многомерными индексами (например, сигнатуры условий, пространственное хеширование и семантические теги) и скользящим суммированием для эффективного и проверяемого воспроизведения. Чтобы обеспечить достаточную информационную плотность для атрибуции, уровень выполнения предоставляет композиционные сигналы диагностики, выходящие за рамки бинарных исходов, включая сводки различий состояний, перечисленные причины сбоев, непрерывные индикаторы и обнаружение застоя/циклов. Более того, успешные траектории Дистилляции Опыта обобщаются в переиспользуемые навыки с явными предварительными условиями и критериями проверки, в то время как неудачи дистиллируются в исполняемые защитные ограничения, которые фиксируют первопричины и запрещают рискованные операции как на уровне подцелей, так и на уровне задач. Кроме того, в Управлении с Обратной Связью на Основе Знаний извлеченные навыки и защитные ограничения внедряются в планировщик на основе LLM, а локальное перепланирование, инициированное диагностикой, обновляет активные ограничения в реальном времени, формируя процесс непрерывной эволюции без каких-либо обновлений параметров модели. Эксперименты на наборе долгосрочных задач Minecraft MCU демонстрируют стабильное улучшение по сравнению с базовыми методами статического извлечения.

English

Open-world embodied agents must solve long-horizon tasks where the main bottleneck is not single-step planning quality but how interaction experience is organized and evolved. To this end, we present Steve-Evolving, a non-parametric self-evolving framework that tightly couples fine-grained execution diagnosis with dual-track knowledge distillation in a closed loop. The method follows three phases: Experience Anchoring, Experience Distillation, and Knowledge-Driven Closed-Loop Control. In detail, Experience Anchoring solidifies each subgoal attempt into a structured experience tuple with a fixed schema (pre-state, action, diagnosis-result, and post-state) and organizes it in a three-tier experience space with multi-dimensional indices (e.g., condition signatures, spatial hashing, and semantic tags) plus rolling summarization for efficient and auditable recall. To ensure sufficient information density for attribution, the execution layer provides compositional diagnosis signals beyond binary outcomes, including state-difference summaries, enumerated failure causes, continuous indicators, and stagnation/loop detection. Moreover, successful trajectories of Experience Distillation are generalized into reusable skills with explicit preconditions and verification criteria, while failures are distilled into executable guardrails that capture root causes and forbid risky operations at both subgoal and task granularities. Besides, Knowledge-Driven Closed-Loop Control retrieved skills and guardrails are injected into an LLM planner, and diagnosis-triggered local replanning updates the active constraints online, forming a continual evolution process without any model parameter updates. Experiments on the long-horizon suite of Minecraft MCU demonstrate consistent improvements over static-retrieval baselines.