Sculptor: 능동적 컨텍스트 관리를 통해 인지적 주체성을 갖춘 LLM 강화

Sculptor: Empowering LLMs with Cognitive Agency via Active Context Management

August 6, 2025

저자: Mo Li, L. H. Xu, Qitai Tan, Ting Cao, Yunxin Liu

cs.AI

초록

대규모 언어 모델(LLMs)은 긴 문맥을 처리할 때 사전 간섭(proactive interference)으로 인해 성능이 크게 저하되는 문제를 겪습니다. 이는 문맥의 앞부분에 있는 관련 없는 정보가 추론과 기억 회상을 방해하기 때문입니다. 대부분의 연구가 LLM의 능력을 확장하기 위한 외부 메모리 시스템에 초점을 맞추는 반면, 우리는 보완적인 접근 방식을 제안합니다: LLM에 능동적 문맥 관리(Active Context Management, ACM) 도구를 제공하여 내부 작업 메모리를 능동적으로 조각하는 것입니다. 우리는 Sculptor라는 프레임워크를 소개하며, 이는 LLM에 세 가지 범주의 도구를 제공합니다: (1) 문맥 분할, (2) 요약, 숨기기 및 복원, (3) 지능형 검색. 우리의 접근 방식은 LLM이 주의와 작업 메모리를 능동적으로 관리할 수 있도록 하여, 인간이 관련 정보에 선택적으로 집중하면서 방해 요소를 걸러내는 방식과 유사합니다. 정보가 희소한 벤치마크인 PI-LLM(사전 간섭)과 NeedleBench Multi-Needle Reasoning에서의 실험적 평가는 Sculptor가 특별한 훈련 없이도 LLM의 내재된 도구 호출 일반화 능력을 활용하여 성능을 크게 향상시킨다는 것을 보여줍니다. 능동적 문맥 관리를 가능하게 함으로써, Sculptor는 사전 간섭을 완화할 뿐만 아니라 다양한 장문맥 작업에서 더 신뢰할 수 있는 추론을 위한 인지적 기반을 제공합니다. 이는 더 큰 토큰 윈도우보다는 명시적인 문맥 제어 전략이 대규모에서의 견고성을 위한 핵심임을 강조합니다.

English

Large Language Models (LLMs) suffer from significant performance degradation when processing long contexts due to proactive interference, where irrelevant information in earlier parts of the context disrupts reasoning and memory recall. While most research focuses on external memory systems to augment LLMs' capabilities, we propose a complementary approach: empowering LLMs with Active Context Management (ACM) tools to actively sculpt their internal working memory. We introduce Sculptor, a framework that equips LLMs with three categories of tools: (1) context fragmentation, (2) summary, hide, and restore, and (3) intelligent search. Our approach enables LLMs to proactively manage their attention and working memory, analogous to how humans selectively focus on relevant information while filtering out distractions. Experimental evaluation on information-sparse benchmarks-PI-LLM (proactive interference) and NeedleBench Multi-Needle Reasoning-demonstrates that Sculptor significantly improves performance even without specific training, leveraging LLMs' inherent tool calling generalization capabilities. By enabling Active Context Management, Sculptor not only mitigates proactive interference but also provides a cognitive foundation for more reliable reasoning across diverse long-context tasks-highlighting that explicit context-control strategies, rather than merely larger token windows, are key to robustness at scale.