ACON: Optimización de la Compresión de Contexto para Agentes de LLM de Horizonte Largo

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) se están implementando cada vez más como agentes en entornos dinámicos del mundo real, donde el éxito requiere tanto razonamiento como el uso efectivo de herramientas. Un desafío central para las tareas agentivas es el creciente tamaño del contexto, ya que los agentes deben acumular largos historiales de acciones y observaciones. Esta expansión incrementa los costos y reduce la eficiencia en tareas de largo plazo, aunque trabajos previos sobre compresión de contexto se han centrado principalmente en tareas de un solo paso o aplicaciones específicas. Presentamos la Optimización de Contexto de Agente (ACON, por sus siglas en inglés), un marco unificado que comprime de manera óptima tanto las observaciones del entorno como los historiales de interacción en condensaciones concisas pero informativas. ACON aprovecha la optimización de directrices de compresión en el espacio del lenguaje natural: dadas trayectorias emparejadas donde el contexto completo tiene éxito pero el contexto comprimido falla, los LLMs capaces analizan las causas del fallo y la directriz de compresión se actualiza en consecuencia. Además, proponemos destilar el compresor de LLM optimizado en modelos más pequeños para reducir la sobrecarga del módulo adicional. Los experimentos en AppWorld, OfficeBench y Multi-objective QA muestran que ACON reduce el uso de memoria en un 26-54% (tokens máximos) mientras preserva en gran medida el rendimiento de la tarea, mantiene más del 95% de precisión cuando se destila en compresores más pequeños y mejora los modelos de lenguaje más pequeños como agentes de largo plazo con una mejora de rendimiento de hasta el 46%.

English

Large language models (LLMs) are increasingly deployed as agents in dynamic, real-world environments, where success requires both reasoning and effective tool use. A central challenge for agentic tasks is the growing context length, as agents must accumulate long histories of actions and observations. This expansion raises costs and reduces efficiency in long-horizon tasks, yet prior work on context compression has mostly focused on single-step tasks or narrow applications. We introduce Agent Context Optimization (ACON), a unified framework that optimally compresses both environment observations and interaction histories into concise yet informative condensations. ACON leverages compression guideline optimization in natural language space: given paired trajectories where full context succeeds but compressed context fails, capable LLMs analyze the causes of failure, and the compression guideline is updated accordingly. Furthermore, we propose distilling the optimized LLM compressor into smaller models to reduce the overhead of the additional module. Experiments on AppWorld, OfficeBench, and Multi-objective QA show that ACON reduces memory usage by 26-54% (peak tokens) while largely preserving task performance, preserves over 95% of accuracy when distilled into smaller compressors, and enhances smaller LMs as long-horizon agents with up to 46% performance improvement.

ACON: Optimización de la Compresión de Contexto para Agentes de LLM de Horizonte Largo

ACON: Optimizing Context Compression for Long-horizon LLM Agents

Resumen

Support