Sculptor: Capacitando LLMs com Agência Cognitiva por meio de Gestão Ativa de Contexto

Sculptor: Empowering LLMs with Cognitive Agency via Active Context Management

August 6, 2025

Autores: Mo Li, L. H. Xu, Qitai Tan, Ting Cao, Yunxin Liu

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) sofrem uma degradação significativa de desempenho ao processar contextos longos devido à interferência proativa, onde informações irrelevantes em partes anteriores do contexto prejudicam o raciocínio e a recuperação da memória. Enquanto a maioria das pesquisas se concentra em sistemas de memória externa para ampliar as capacidades dos LLMs, propomos uma abordagem complementar: capacitar os LLMs com ferramentas de Gerenciamento Ativo de Contexto (ACM) para esculpir ativamente sua memória de trabalho interna. Apresentamos o Sculptor, um framework que equipa os LLMs com três categorias de ferramentas: (1) fragmentação de contexto, (2) resumo, ocultação e restauração, e (3) busca inteligente. Nossa abordagem permite que os LLMs gerenciem proativamente sua atenção e memória de trabalho, de forma análoga à maneira como os humanos se concentram seletivamente em informações relevantes enquanto filtram distrações. A avaliação experimental em benchmarks com pouca informação—PI-LLM (interferência proativa) e NeedleBench Multi-Needle Reasoning—demonstra que o Sculptor melhora significativamente o desempenho mesmo sem treinamento específico, aproveitando as capacidades inerentes de generalização de chamada de ferramentas dos LLMs. Ao habilitar o Gerenciamento Ativo de Contexto, o Sculptor não apenas mitiga a interferência proativa, mas também fornece uma base cognitiva para um raciocínio mais confiável em diversas tarefas de contexto longo—destacando que estratégias explícitas de controle de contexto, em vez de meramente janelas de tokens maiores, são essenciais para a robustez em escala.

English

Large Language Models (LLMs) suffer from significant performance degradation when processing long contexts due to proactive interference, where irrelevant information in earlier parts of the context disrupts reasoning and memory recall. While most research focuses on external memory systems to augment LLMs' capabilities, we propose a complementary approach: empowering LLMs with Active Context Management (ACM) tools to actively sculpt their internal working memory. We introduce Sculptor, a framework that equips LLMs with three categories of tools: (1) context fragmentation, (2) summary, hide, and restore, and (3) intelligent search. Our approach enables LLMs to proactively manage their attention and working memory, analogous to how humans selectively focus on relevant information while filtering out distractions. Experimental evaluation on information-sparse benchmarks-PI-LLM (proactive interference) and NeedleBench Multi-Needle Reasoning-demonstrates that Sculptor significantly improves performance even without specific training, leveraging LLMs' inherent tool calling generalization capabilities. By enabling Active Context Management, Sculptor not only mitigates proactive interference but also provides a cognitive foundation for more reliable reasoning across diverse long-context tasks-highlighting that explicit context-control strategies, rather than merely larger token windows, are key to robustness at scale.