ACON : Optimisation de la compression contextuelle pour les agents LLM à long horizon

papers.abstract

Les grands modèles de langage (LLMs) sont de plus en plus déployés en tant qu'agents dans des environnements dynamiques et réels, où la réussite nécessite à la fois un raisonnement et une utilisation efficace d'outils. Un défi central pour les tâches agentiques est l'augmentation de la longueur du contexte, car les agents doivent accumuler de longues histoires d'actions et d'observations. Cette expansion augmente les coûts et réduit l'efficacité dans les tâches à long horizon, mais les travaux antérieurs sur la compression du contexte se sont principalement concentrés sur des tâches à une seule étape ou des applications étroites. Nous introduisons l'Optimisation du Contexte Agentique (ACON), un cadre unifié qui compresse de manière optimale à la fois les observations de l'environnement et les historiques d'interactions en condensations concises mais informatives. ACON exploite l'optimisation des directives de compression dans l'espace du langage naturel : étant donné des trajectoires appariées où le contexte complet réussit mais le contexte compressé échoue, des LLMs compétents analysent les causes de l'échec, et la directive de compression est mise à jour en conséquence. De plus, nous proposons de distiller le compresseur LLM optimisé en modèles plus petits pour réduire la surcharge du module supplémentaire. Les expériences sur AppWorld, OfficeBench et Multi-objective QA montrent qu'ACON réduit l'utilisation de la mémoire de 26 à 54 % (tokens de pointe) tout en préservant largement la performance des tâches, conserve plus de 95 % de précision lorsqu'il est distillé en compresseurs plus petits, et améliore les LLMs plus petits en tant qu'agents à long horizon avec une amélioration des performances allant jusqu'à 46 %.

English

Large language models (LLMs) are increasingly deployed as agents in dynamic, real-world environments, where success requires both reasoning and effective tool use. A central challenge for agentic tasks is the growing context length, as agents must accumulate long histories of actions and observations. This expansion raises costs and reduces efficiency in long-horizon tasks, yet prior work on context compression has mostly focused on single-step tasks or narrow applications. We introduce Agent Context Optimization (ACON), a unified framework that optimally compresses both environment observations and interaction histories into concise yet informative condensations. ACON leverages compression guideline optimization in natural language space: given paired trajectories where full context succeeds but compressed context fails, capable LLMs analyze the causes of failure, and the compression guideline is updated accordingly. Furthermore, we propose distilling the optimized LLM compressor into smaller models to reduce the overhead of the additional module. Experiments on AppWorld, OfficeBench, and Multi-objective QA show that ACON reduces memory usage by 26-54% (peak tokens) while largely preserving task performance, preserves over 95% of accuracy when distilled into smaller compressors, and enhances smaller LMs as long-horizon agents with up to 46% performance improvement.

ACON : Optimisation de la compression contextuelle pour les agents LLM à long horizon

ACON: Optimizing Context Compression for Long-horizon LLM Agents

papers.abstract

Support