ACON: Optimalisatie van Contextcompressie voor Langetermijn-LLM-Agenten

ACON: Optimizing Context Compression for Long-horizon LLM Agents

October 1, 2025

Auteurs: Minki Kang, Wei-Ning Chen, Dongge Han, Huseyin A. Inan, Lukas Wutschitz, Yanzhi Chen, Robert Sim, Saravan Rajmohan

cs.AI

Samenvatting

Grote taalmmodellen (LLMs) worden steeds vaker ingezet als agenten in dynamische, real-world omgevingen, waar succes zowel redeneren als effectief gebruik van tools vereist. Een centrale uitdaging voor agentische taken is de groeiende contextlengte, aangezien agenten lange geschiedenissen van acties en observaties moeten accumuleren. Deze uitbreiding verhoogt de kosten en vermindert de efficiëntie bij taken met een lange horizon, terwijl eerder werk over contextcompressie zich vooral richtte op taken met één stap of beperkte toepassingen. Wij introduceren Agent Context Optimization (ACON), een uniform raamwerk dat zowel omgevingsobservaties als interactiegeschiedenissen optimaal comprimeert tot beknopte maar informatieve samenvattingen. ACON maakt gebruik van optimalisatie van compressierichtlijnen in de natuurlijke taalruimte: gegeven gepaarde trajecten waarbij volledige context slaagt maar gecomprimeerde context faalt, analyseren capabele LLMs de oorzaken van het falen, en wordt de compressierichtlijn dienovereenkomstig bijgewerkt. Bovendien stellen we voor om de geoptimaliseerde LLM-compressor te destilleren in kleinere modellen om de overhead van de aanvullende module te verminderen. Experimenten op AppWorld, OfficeBench en Multi-objective QA tonen aan dat ACON het geheugengebruik met 26-54% (piektokens) vermindert terwijl de taakprestaties grotendeels behouden blijven, meer dan 95% van de nauwkeurigheid behoudt wanneer het wordt gedestilleerd in kleinere compressors, en kleinere LM's versterkt als agenten met een lange horizon met een prestatieverbetering tot 46%.

English

Large language models (LLMs) are increasingly deployed as agents in dynamic, real-world environments, where success requires both reasoning and effective tool use. A central challenge for agentic tasks is the growing context length, as agents must accumulate long histories of actions and observations. This expansion raises costs and reduces efficiency in long-horizon tasks, yet prior work on context compression has mostly focused on single-step tasks or narrow applications. We introduce Agent Context Optimization (ACON), a unified framework that optimally compresses both environment observations and interaction histories into concise yet informative condensations. ACON leverages compression guideline optimization in natural language space: given paired trajectories where full context succeeds but compressed context fails, capable LLMs analyze the causes of failure, and the compression guideline is updated accordingly. Furthermore, we propose distilling the optimized LLM compressor into smaller models to reduce the overhead of the additional module. Experiments on AppWorld, OfficeBench, and Multi-objective QA show that ACON reduces memory usage by 26-54% (peak tokens) while largely preserving task performance, preserves over 95% of accuracy when distilled into smaller compressors, and enhances smaller LMs as long-horizon agents with up to 46% performance improvement.