ACON: Optimierung der Kontextkompression für Langzeithorizont-LLM-Agenten

papers.abstract

Große Sprachmodelle (LLMs) werden zunehmend als Agenten in dynamischen, realen Umgebungen eingesetzt, wo Erfolg sowohl logisches Denken als auch effektiven Werkzeugeinsatz erfordert. Eine zentrale Herausforderung für agentenbasierte Aufgaben ist die wachsende Kontextlänge, da Agenten lange Historienspuren von Aktionen und Beobachtungen ansammeln müssen. Diese Ausdehnung erhöht die Kosten und verringert die Effizienz bei langfristigen Aufgaben, während sich frühere Arbeiten zur Kontextkompression hauptsächlich auf Einzelschritt-Aufgaben oder eng begrenzte Anwendungen konzentrierten. Wir stellen Agent Context Optimization (ACON) vor, ein einheitliches Framework, das sowohl Umgebungsbeobachtungen als auch Interaktionshistorien optimal in prägnante, aber informative Verdichtungen komprimiert. ACON nutzt die Optimierung von Kompressionsrichtlinien im natürlichen Sprachraum: Bei gepaarten Trajektorien, bei denen der vollständige Kontext erfolgreich ist, der komprimierte Kontext jedoch scheitert, analysieren leistungsfähige LLMs die Ursachen des Scheiterns, und die Kompressionsrichtlinie wird entsprechend aktualisiert. Darüber hinaus schlagen wir vor, den optimierten LLM-Kompressor in kleinere Modelle zu destillieren, um den Overhead des zusätzlichen Moduls zu reduzieren. Experimente auf AppWorld, OfficeBench und Multi-objective QA zeigen, dass ACON den Speicherverbrauch um 26-54 % (Peak-Tokens) reduziert, während die Aufgabenleistung weitgehend erhalten bleibt, über 95 % der Genauigkeit bewahrt, wenn es in kleinere Kompressoren destilliert wird, und kleinere Sprachmodelle als langfristige Agenten mit einer Leistungssteigerung von bis zu 46 % verbessert.

English

Large language models (LLMs) are increasingly deployed as agents in dynamic, real-world environments, where success requires both reasoning and effective tool use. A central challenge for agentic tasks is the growing context length, as agents must accumulate long histories of actions and observations. This expansion raises costs and reduces efficiency in long-horizon tasks, yet prior work on context compression has mostly focused on single-step tasks or narrow applications. We introduce Agent Context Optimization (ACON), a unified framework that optimally compresses both environment observations and interaction histories into concise yet informative condensations. ACON leverages compression guideline optimization in natural language space: given paired trajectories where full context succeeds but compressed context fails, capable LLMs analyze the causes of failure, and the compression guideline is updated accordingly. Furthermore, we propose distilling the optimized LLM compressor into smaller models to reduce the overhead of the additional module. Experiments on AppWorld, OfficeBench, and Multi-objective QA show that ACON reduces memory usage by 26-54% (peak tokens) while largely preserving task performance, preserves over 95% of accuracy when distilled into smaller compressors, and enhances smaller LMs as long-horizon agents with up to 46% performance improvement.

ACON: Optimierung der Kontextkompression für Langzeithorizont-LLM-Agenten

ACON: Optimizing Context Compression for Long-horizon LLM Agents

papers.abstract

Support