Sculptor: Наделение крупных языковых моделей когнитивной активностью через управление контекстом в реальном времени

Sculptor: Empowering LLMs with Cognitive Agency via Active Context Management

August 6, 2025

Авторы: Mo Li, L. H. Xu, Qitai Tan, Ting Cao, Yunxin Liu

cs.AI

Аннотация

Крупные языковые модели (LLM) демонстрируют значительное снижение производительности при обработке длинных контекстов из-за проактивной интерференции, когда нерелевантная информация в начальных частях контекста нарушает рассуждения и воспроизведение памяти. В то время как большинство исследований сосредоточено на внешних системах памяти для расширения возможностей LLM, мы предлагаем дополнительный подход: оснащение LLM инструментами активного управления контекстом (ACM) для целенаправленного формирования их внутренней рабочей памяти. Мы представляем Sculptor — фреймворк, который предоставляет LLM три категории инструментов: (1) фрагментация контекста, (2) суммирование, скрытие и восстановление, а также (3) интеллектуальный поиск. Наш подход позволяет LLM активно управлять своим вниманием и рабочей памятью, аналогично тому, как люди избирательно фокусируются на релевантной информации, отфильтровывая отвлекающие факторы. Экспериментальная оценка на информационно-разреженных бенчмарках — PI-LLM (проактивная интерференция) и NeedleBench Multi-Needle Reasoning — демонстрирует, что Sculptor значительно улучшает производительность даже без специального обучения, используя врожденные способности LLM к обобщению вызова инструментов. Благодаря внедрению активного управления контекстом Sculptor не только смягчает проактивную интерференцию, но и обеспечивает когнитивную основу для более надежного рассуждения в разнообразных задачах с длинным контекстом, подчеркивая, что явные стратегии контроля контекста, а не просто увеличение окна токенов, являются ключом к устойчивости в масштабе.

English

Large Language Models (LLMs) suffer from significant performance degradation when processing long contexts due to proactive interference, where irrelevant information in earlier parts of the context disrupts reasoning and memory recall. While most research focuses on external memory systems to augment LLMs' capabilities, we propose a complementary approach: empowering LLMs with Active Context Management (ACM) tools to actively sculpt their internal working memory. We introduce Sculptor, a framework that equips LLMs with three categories of tools: (1) context fragmentation, (2) summary, hide, and restore, and (3) intelligent search. Our approach enables LLMs to proactively manage their attention and working memory, analogous to how humans selectively focus on relevant information while filtering out distractions. Experimental evaluation on information-sparse benchmarks-PI-LLM (proactive interference) and NeedleBench Multi-Needle Reasoning-demonstrates that Sculptor significantly improves performance even without specific training, leveraging LLMs' inherent tool calling generalization capabilities. By enabling Active Context Management, Sculptor not only mitigates proactive interference but also provides a cognitive foundation for more reliable reasoning across diverse long-context tasks-highlighting that explicit context-control strategies, rather than merely larger token windows, are key to robustness at scale.