Sculptor: アクティブなコンテキスト管理による認知エージェンシーを備えたLLMの強化

Sculptor: Empowering LLMs with Cognitive Agency via Active Context Management

August 6, 2025

著者: Mo Li, L. H. Xu, Qitai Tan, Ting Cao, Yunxin Liu

cs.AI

要旨

大規模言語モデル（LLM）は、長い文脈を処理する際に、前方干渉（proactive interference）による著しい性能低下に悩まされる。これは、文脈の前半部分にある無関係な情報が推論や記憶の想起を妨げる現象である。多くの研究がLLMの能力を拡張するための外部メモリシステムに焦点を当てる中、我々は補完的なアプローチを提案する：LLMにアクティブコンテキスト管理（Active Context Management, ACM）ツールを装備し、内部の作業メモリを積極的に形成する能力を与えることである。我々は、Sculptorというフレームワークを導入し、LLMに3つのカテゴリのツールを提供する：(1) コンテキストの断片化、(2) 要約、隠蔽、復元、(3) インテリジェント検索。このアプローチにより、LLMは人間が関連情報に選択的に焦点を当て、注意散漫をフィルタリングするのと同様に、自身の注意と作業メモリを積極的に管理できるようになる。情報が疎なベンチマークであるPI-LLM（前方干渉）およびNeedleBench Multi-Needle Reasoningでの実験的評価により、Sculptorが特定のトレーニングなしでもLLMのツール呼び出し汎化能力を活用し、性能を大幅に向上させることが実証された。アクティブコンテキスト管理を可能にすることで、Sculptorは前方干渉を軽減するだけでなく、多様な長文脈タスクにおける信頼性の高い推論のための認知的基盤を提供する。これは、単に大きなトークンウィンドウを増やすのではなく、明示的なコンテキスト制御戦略がスケールにおける堅牢性の鍵であることを強調している。

English

Large Language Models (LLMs) suffer from significant performance degradation when processing long contexts due to proactive interference, where irrelevant information in earlier parts of the context disrupts reasoning and memory recall. While most research focuses on external memory systems to augment LLMs' capabilities, we propose a complementary approach: empowering LLMs with Active Context Management (ACM) tools to actively sculpt their internal working memory. We introduce Sculptor, a framework that equips LLMs with three categories of tools: (1) context fragmentation, (2) summary, hide, and restore, and (3) intelligent search. Our approach enables LLMs to proactively manage their attention and working memory, analogous to how humans selectively focus on relevant information while filtering out distractions. Experimental evaluation on information-sparse benchmarks-PI-LLM (proactive interference) and NeedleBench Multi-Needle Reasoning-demonstrates that Sculptor significantly improves performance even without specific training, leveraging LLMs' inherent tool calling generalization capabilities. By enabling Active Context Management, Sculptor not only mitigates proactive interference but also provides a cognitive foundation for more reliable reasoning across diverse long-context tasks-highlighting that explicit context-control strategies, rather than merely larger token windows, are key to robustness at scale.