Sculptor : Renforcer les capacités cognitives des LLM grâce à une gestion active du contexte

Sculptor: Empowering LLMs with Cognitive Agency via Active Context Management

August 6, 2025

papers.authors: Mo Li, L. H. Xu, Qitai Tan, Ting Cao, Yunxin Liu

cs.AI

papers.abstract

Les grands modèles de langage (LLMs) subissent une dégradation significative de leurs performances lorsqu'ils traitent des contextes longs, en raison d'interférences proactives où des informations non pertinentes dans les parties antérieures du contexte perturbent le raisonnement et la récupération en mémoire. Alors que la plupart des recherches se concentrent sur des systèmes de mémoire externe pour augmenter les capacités des LLMs, nous proposons une approche complémentaire : doter les LLMs d'outils de Gestion Active du Contexte (ACM) pour façonner activement leur mémoire de travail interne. Nous présentons Sculptor, un cadre qui équipe les LLMs de trois catégories d'outils : (1) fragmentation du contexte, (2) résumé, masquage et restauration, et (3) recherche intelligente. Notre approche permet aux LLMs de gérer proactivement leur attention et leur mémoire de travail, de manière analogue à la façon dont les humains se concentrent sélectivement sur les informations pertinentes tout en filtrant les distractions. L'évaluation expérimentale sur des benchmarks à faible densité d'information—PI-LLM (interférence proactive) et NeedleBench Multi-Needle Reasoning—démontre que Sculptor améliore significativement les performances même sans entraînement spécifique, en exploitant les capacités inhérentes des LLMs à généraliser l'appel d'outils. En permettant une Gestion Active du Contexte, Sculptor non seulement atténue les interférences proactives, mais fournit également une fondation cognitive pour un raisonnement plus fiable dans diverses tâches à contexte long—soulignant que des stratégies explicites de contrôle du contexte, plutôt que de simples fenêtres de tokens plus larges, sont essentielles pour une robustesse à grande échelle.

English

Large Language Models (LLMs) suffer from significant performance degradation when processing long contexts due to proactive interference, where irrelevant information in earlier parts of the context disrupts reasoning and memory recall. While most research focuses on external memory systems to augment LLMs' capabilities, we propose a complementary approach: empowering LLMs with Active Context Management (ACM) tools to actively sculpt their internal working memory. We introduce Sculptor, a framework that equips LLMs with three categories of tools: (1) context fragmentation, (2) summary, hide, and restore, and (3) intelligent search. Our approach enables LLMs to proactively manage their attention and working memory, analogous to how humans selectively focus on relevant information while filtering out distractions. Experimental evaluation on information-sparse benchmarks-PI-LLM (proactive interference) and NeedleBench Multi-Needle Reasoning-demonstrates that Sculptor significantly improves performance even without specific training, leveraging LLMs' inherent tool calling generalization capabilities. By enabling Active Context Management, Sculptor not only mitigates proactive interference but also provides a cognitive foundation for more reliable reasoning across diverse long-context tasks-highlighting that explicit context-control strategies, rather than merely larger token windows, are key to robustness at scale.