Sculptor: Het versterken van LLMs met cognitief vermogen via actief contextbeheer

Sculptor: Empowering LLMs with Cognitive Agency via Active Context Management

August 6, 2025

Auteurs: Mo Li, L. H. Xu, Qitai Tan, Ting Cao, Yunxin Liu

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) lijden aan een aanzienlijke prestatievermindering bij het verwerken van lange contexten als gevolg van proactieve interferentie, waarbij irrelevante informatie in eerdere delen van de context het redeneren en het geheugen oproepen verstoort. Terwijl het meeste onderzoek zich richt op externe geheugensystemen om de mogelijkheden van LLMs te vergroten, stellen wij een complementaire aanpak voor: het uitrusten van LLMs met Active Context Management (ACM)-tools om hun interne werkgeheugen actief te vormen. We introduceren Sculptor, een raamwerk dat LLMs uitrust met drie categorieën tools: (1) contextfragmentatie, (2) samenvatten, verbergen en herstellen, en (3) intelligente zoekopdrachten. Onze aanpak stelt LLMs in staat om hun aandacht en werkgeheugen proactief te beheren, vergelijkbaar met hoe mensen selectief focussen op relevante informatie terwijl ze afleidingen filteren. Experimentele evaluatie op informatie-arme benchmarks—PI-LLM (proactieve interferentie) en NeedleBench Multi-Needle Reasoning—toont aan dat Sculptor de prestaties aanzienlijk verbetert, zelfs zonder specifieke training, door gebruik te maken van de inherente tool-aanroepgeneraliseringsmogelijkheden van LLMs. Door Active Context Management mogelijk te maken, vermindert Sculptor niet alleen proactieve interferentie, maar biedt het ook een cognitieve basis voor betrouwbaarder redeneren over diverse lange-context taken—waarbij wordt benadrukt dat expliciete contextcontrole-strategieën, in plaats van slechts grotere tokenvensters, de sleutel zijn tot robuustheid op schaal.

English

Large Language Models (LLMs) suffer from significant performance degradation when processing long contexts due to proactive interference, where irrelevant information in earlier parts of the context disrupts reasoning and memory recall. While most research focuses on external memory systems to augment LLMs' capabilities, we propose a complementary approach: empowering LLMs with Active Context Management (ACM) tools to actively sculpt their internal working memory. We introduce Sculptor, a framework that equips LLMs with three categories of tools: (1) context fragmentation, (2) summary, hide, and restore, and (3) intelligent search. Our approach enables LLMs to proactively manage their attention and working memory, analogous to how humans selectively focus on relevant information while filtering out distractions. Experimental evaluation on information-sparse benchmarks-PI-LLM (proactive interference) and NeedleBench Multi-Needle Reasoning-demonstrates that Sculptor significantly improves performance even without specific training, leveraging LLMs' inherent tool calling generalization capabilities. By enabling Active Context Management, Sculptor not only mitigates proactive interference but also provides a cognitive foundation for more reliable reasoning across diverse long-context tasks-highlighting that explicit context-control strategies, rather than merely larger token windows, are key to robustness at scale.