ProAct: Agentische Vooruitkijken in Interactieve Omgevingen

ProAct: Agentic Lookahead in Interactive Environments

February 5, 2026

Auteurs: Yangbin Yu, Mingyu Yang, Junyou Li, Yiming Gao, Feiyu Liu, Yijun Yang, Zichuan Lin, Jiafei Lyu, Yicheng Liu, Zhicong Lu, Deheng Ye, Jie Jiang

cs.AI

Samenvatting

Bestaande Large Language Model (LLM)-agenten presteren ondermaats in interactieve omgevingen die langetermijnplanning vereisen, voornamelijk door oplopende fouten bij het simuleren van toekomstige toestanden. Om dit aan te pakken stellen we ProAct voor, een raamwerk dat agenten in staat stelt om nauwkeurige vooruitblikkende redenering te internaliseren via een tweefasig trainingsparadigma. Ten eerste introduceren we Grounded LookAhead Distillation (GLAD), waarbij de agent onder supervisie wordt gefinetuned op trajecten afgeleid van op de omgeving gebaseerd zoeken. Door complexe zoekbomen te comprimeren tot beknopte, causale redeneerketens, leert de agent de logica van vooruitdenken zonder de rekenkosten van zoeken tijdens de inferentie. Ten tweede stellen we, om de beslissingsnauwkeurigheid verder te verfijnen, de Monte-Carlo Critic (MC-Critic) voor, een plug-and-play hulpmiddel voor waardeschatting ontworpen om beleidsgradiëntalgoritmen zoals PPO en GRPO te verbeteren. Door gebruik te maken van lichtgewicht omgevingssimulaties om waardeschattingen te kalibreren, biedt MC-Critic een signaal met lage variantie dat stabiele beleidsoptimalisatie mogelijk maakt zonder afhankelijk te zijn van dure op modellen gebaseerde waardebenadering. Experimenten in zowel stochastische (bijv. 2048) als deterministische (bijv. Sokoban) omgevingen tonen aan dat ProAct de planningsnauwkeurigheid aanzienlijk verbetert. Opmerkelijk is dat een model met 4B parameters, getraind met ProAct, alle open-source vergelijkingsmodellen overtreft en zich kan meten met state-of-the-art gesloten modellen, terwijl het robuuste generalisatie vertoont naar onbekende omgevingen. De code en modellen zijn beschikbaar op https://github.com/GreatX3/ProAct.

English

Existing Large Language Model (LLM) agents struggle in interactive environments requiring long-horizon planning, primarily due to compounding errors when simulating future states. To address this, we propose ProAct, a framework that enables agents to internalize accurate lookahead reasoning through a two-stage training paradigm. First, we introduce Grounded LookAhead Distillation (GLAD), where the agent undergoes supervised fine-tuning on trajectories derived from environment-based search. By compressing complex search trees into concise, causal reasoning chains, the agent learns the logic of foresight without the computational overhead of inference-time search. Second, to further refine decision accuracy, we propose the Monte-Carlo Critic (MC-Critic), a plug-and-play auxiliary value estimator designed to enhance policy-gradient algorithms like PPO and GRPO. By leveraging lightweight environment rollouts to calibrate value estimates, MC-Critic provides a low-variance signal that facilitates stable policy optimization without relying on expensive model-based value approximation. Experiments on both stochastic (e.g., 2048) and deterministic (e.g., Sokoban) environments demonstrate that ProAct significantly improves planning accuracy. Notably, a 4B parameter model trained with ProAct outperforms all open-source baselines and rivals state-of-the-art closed-source models, while demonstrating robust generalization to unseen environments. The codes and models are available at https://github.com/GreatX3/ProAct