Spark: Strategische Beleidsbewuste Verkenning via Dynamisch Vertakken voor Leren op Lange Termijn in Agent-systemen

Spark: Strategic Policy-Aware Exploration via Dynamic Branching for Long-Horizon Agentic Learning

January 28, 2026

Auteurs: Jinyang Wu, Shuo Yang, Changpeng Yang, Yuhao Shen, Shuai Zhang, Zhengqi Wen, Jianhua Tao

cs.AI

Samenvatting

Versterkend leren heeft grote taalmodellen in staat gesteld om als intelligente agenten te functioneren, maar het trainen ervan voor taken met een lange tijdschaal blijft uitdagend vanwege de schaarste aan hoogwaardige trajecten, vooral onder beperkte middelen. Bestaande methoden schalen doorgaans de aantallen rollouts op en alloceren rekenresources ongericht over tussenstappen. Dergelijke pogingen verspillen inherent aanzienlijke rekenbudgetten aan triviale stappen, terwijl ze de steekproefkwaliteit niet kunnen garanderen. Om dit aan te pakken, stellen we Spark voor (Strategic Policy-Aware exploRation via Key-state dynamic branching), een nieuw raamwerk dat selectief vertakt op kritieke beslissingsstaten voor resource-efficiënte exploratie. Ons belangrijkste inzicht is om adaptieve vertakkingsverkenning te activeren op kritieke beslissingspunten om veelbelovende trajecten te onderzoeken, waardoor een precieze resource-allokatie wordt bereikt die steekproefkwaliteit boven blinde dekking stelt. Dit ontwerp benut de intrinsieke beslissingssignalen van de agent om de afhankelijkheid van menselijke priori te verminderen, waardoor de agent autonoom de verkenning kan uitbreiden en een sterkere generalisatie kan bereiken. Experimenten in diverse taken (bijvoorbeeld embodied planning) tonen aan dat Spark superieure slagingspercentages bereikt met aanzienlijk minder trainingsvoorbeelden en robuuste generalisatie vertoont, zelfs in onbekende scenario's.

English

Reinforcement learning has empowered large language models to act as intelligent agents, yet training them for long-horizon tasks remains challenging due to the scarcity of high-quality trajectories, especially under limited resources. Existing methods typically scale up rollout sizes and indiscriminately allocate computational resources among intermediate steps. Such attempts inherently waste substantial computation budget on trivial steps while failing to guarantee sample quality. To address this, we propose Spark (Strategic Policy-Aware exploRation via Key-state dynamic branching), a novel framework that selectively branches at critical decision states for resource-efficient exploration. Our key insight is to activate adaptive branching exploration at critical decision points to probe promising trajectories, thereby achieving precise resource allocation that prioritizes sampling quality over blind coverage. This design leverages the agent's intrinsic decision-making signals to reduce dependence on human priors, enabling the agent to autonomously expand exploration and achieve stronger generalization. Experiments across diverse tasks (e.g., embodied planning), demonstrate that Spark achieves superior success rates with significantly fewer training samples, exhibiting robust generalization even in unseen scenarios.