ProAct: Anticipazione Agente in Ambienti Interattivi
ProAct: Agentic Lookahead in Interactive Environments
February 5, 2026
Autori: Yangbin Yu, Mingyu Yang, Junyou Li, Yiming Gao, Feiyu Liu, Yijun Yang, Zichuan Lin, Jiafei Lyu, Yicheng Liu, Zhicong Lu, Deheng Ye, Jie Jiang
cs.AI
Abstract
Gli agenti basati su grandi modelli linguistici (LLM) esistenti mostrano difficoltà in ambienti interattivi che richiedono pianificazione a lungo termine, principalmente a causa dell'accumulo di errori durante la simulazione di stati futuri. Per affrontare questo problema, proponiamo ProAct, un framework che consente agli agenti di interiorizzare un ragionamento predittivo accurato attraverso un paradigma di addestramento a due stadi. In primo luogo, introduciamo la Grounded LookAhead Distillation (GLAD), in cui l'agente viene sottoposto a fine-tuning supervisionato su traiettorie derivate da ricerche basate sull'ambiente. Comprimendo alberi di ricerca complessi in catene di ragionamento causali e concise, l'agente impara la logica della previsione senza il sovraccarico computazionale della ricerca durante l'inferenza. In secondo luogo, per affinare ulteriormente l'accuratezza decisionale, proponiamo il Monte-Carlo Critic (MC-Critic), un estimatore di valore ausiliario plug-and-play progettato per potenziare algoritmi di policy gradient come PPO e GRPO. Sfruttando rollout leggeri dell'ambiente per calibrare le stime di valore, MC-Critic fornisce un segnale a bassa varianza che facilita un'ottimizzazione stabile della policy senza ricorrere a costose approssimazioni di valore basate su modelli. Esperimenti su ambienti sia stocastici (ad esempio, 2048) che deterministici (ad esempio, Sokoban) dimostrano che ProAct migliora significativamente l'accuratezza della pianificazione. È degno di nota che un modello da 4B di parametri addestrato con ProAct superi tutte le baseline open-source e rivaleggi con modelli closed-source all'avanguardia, dimostrando al contempo una robusta generalizzazione ad ambienti non visti. I codici e i modelli sono disponibili su https://github.com/GreatX3/ProAct.
English
Existing Large Language Model (LLM) agents struggle in interactive environments requiring long-horizon planning, primarily due to compounding errors when simulating future states. To address this, we propose ProAct, a framework that enables agents to internalize accurate lookahead reasoning through a two-stage training paradigm. First, we introduce Grounded LookAhead Distillation (GLAD), where the agent undergoes supervised fine-tuning on trajectories derived from environment-based search. By compressing complex search trees into concise, causal reasoning chains, the agent learns the logic of foresight without the computational overhead of inference-time search. Second, to further refine decision accuracy, we propose the Monte-Carlo Critic (MC-Critic), a plug-and-play auxiliary value estimator designed to enhance policy-gradient algorithms like PPO and GRPO. By leveraging lightweight environment rollouts to calibrate value estimates, MC-Critic provides a low-variance signal that facilitates stable policy optimization without relying on expensive model-based value approximation. Experiments on both stochastic (e.g., 2048) and deterministic (e.g., Sokoban) environments demonstrate that ProAct significantly improves planning accuracy. Notably, a 4B parameter model trained with ProAct outperforms all open-source baselines and rivals state-of-the-art closed-source models, while demonstrating robust generalization to unseen environments. The codes and models are available at https://github.com/GreatX3/ProAct