Escultor: Potenciando los LLM con Agencia Cognitiva mediante la Gestión Activa del Contexto

Sculptor: Empowering LLMs with Cognitive Agency via Active Context Management

August 6, 2025

Autores: Mo Li, L. H. Xu, Qitai Tan, Ting Cao, Yunxin Liu

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) experimentan una degradación significativa en su rendimiento al procesar contextos extensos debido a la interferencia proactiva, donde información irrelevante en las partes iniciales del contexto interrumpe el razonamiento y la recuperación de la memoria. Si bien la mayoría de las investigaciones se centran en sistemas de memoria externa para aumentar las capacidades de los LLMs, proponemos un enfoque complementario: dotar a los LLMs con herramientas de Gestión Activa del Contexto (ACM, por sus siglas en inglés) para esculpir activamente su memoria de trabajo interna. Presentamos Sculptor, un marco que equipa a los LLMs con tres categorías de herramientas: (1) fragmentación del contexto, (2) resumen, ocultación y restauración, y (3) búsqueda inteligente. Nuestro enfoque permite a los LLMs gestionar proactivamente su atención y memoria de trabajo, de manera análoga a cómo los humanos se enfocan selectivamente en información relevante mientras filtran distracciones. La evaluación experimental en benchmarks de información dispersa—PI-LLM (interferencia proactiva) y NeedleBench Multi-Needle Reasoning—demuestra que Sculptor mejora significativamente el rendimiento incluso sin entrenamiento específico, aprovechando las capacidades inherentes de generalización en el uso de herramientas de los LLMs. Al habilitar la Gestión Activa del Contexto, Sculptor no solo mitiga la interferencia proactiva, sino que también proporciona una base cognitiva para un razonamiento más confiable en diversas tareas de contexto extenso, destacando que las estrategias explícitas de control del contexto, en lugar de meramente ventanas de tokens más grandes, son clave para la robustez a gran escala.

English

Large Language Models (LLMs) suffer from significant performance degradation when processing long contexts due to proactive interference, where irrelevant information in earlier parts of the context disrupts reasoning and memory recall. While most research focuses on external memory systems to augment LLMs' capabilities, we propose a complementary approach: empowering LLMs with Active Context Management (ACM) tools to actively sculpt their internal working memory. We introduce Sculptor, a framework that equips LLMs with three categories of tools: (1) context fragmentation, (2) summary, hide, and restore, and (3) intelligent search. Our approach enables LLMs to proactively manage their attention and working memory, analogous to how humans selectively focus on relevant information while filtering out distractions. Experimental evaluation on information-sparse benchmarks-PI-LLM (proactive interference) and NeedleBench Multi-Needle Reasoning-demonstrates that Sculptor significantly improves performance even without specific training, leveraging LLMs' inherent tool calling generalization capabilities. By enabling Active Context Management, Sculptor not only mitigates proactive interference but also provides a cognitive foundation for more reliable reasoning across diverse long-context tasks-highlighting that explicit context-control strategies, rather than merely larger token windows, are key to robustness at scale.