Sculptor: Potenziare i LLM con l'Agenzia Cognitiva attraverso la Gestione Attiva del Contesto

Sculptor: Empowering LLMs with Cognitive Agency via Active Context Management

August 6, 2025

Autori: Mo Li, L. H. Xu, Qitai Tan, Ting Cao, Yunxin Liu

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) subiscono un significativo degrado delle prestazioni quando elaborano contesti lunghi a causa dell'interferenza proattiva, dove informazioni irrilevanti nelle parti iniziali del contesto disturbano il ragionamento e il richiamo della memoria. Mentre la maggior parte della ricerca si concentra su sistemi di memoria esterna per potenziare le capacità degli LLM, noi proponiamo un approccio complementare: dotare gli LLM di strumenti di Gestione Attiva del Contesto (ACM) per modellare attivamente la loro memoria di lavoro interna. Introduciamo Sculptor, un framework che fornisce agli LLM tre categorie di strumenti: (1) frammentazione del contesto, (2) riepilogo, nascondi e ripristina, e (3) ricerca intelligente. Il nostro approccio consente agli LLM di gestire proattivamente la loro attenzione e memoria di lavoro, in modo analogo a come gli esseri umani si concentrano selettivamente su informazioni rilevanti filtrando le distrazioni. La valutazione sperimentale su benchmark a bassa densità informatica—PI-LLM (interferenza proattiva) e NeedleBench Multi-Needle Reasoning—dimostra che Sculptor migliora significativamente le prestazioni anche senza un addestramento specifico, sfruttando le capacità intrinseche di generalizzazione degli LLM nell'uso degli strumenti. Abilitando la Gestione Attiva del Contesto, Sculptor non solo mitiga l'interferenza proattiva, ma fornisce anche una base cognitiva per un ragionamento più affidabile in una varietà di task a contesto lungo—evidenziando che strategie esplicite di controllo del contesto, piuttosto che semplicemente finestre di token più ampie, sono chiave per la robustezza su larga scala.

English

Large Language Models (LLMs) suffer from significant performance degradation when processing long contexts due to proactive interference, where irrelevant information in earlier parts of the context disrupts reasoning and memory recall. While most research focuses on external memory systems to augment LLMs' capabilities, we propose a complementary approach: empowering LLMs with Active Context Management (ACM) tools to actively sculpt their internal working memory. We introduce Sculptor, a framework that equips LLMs with three categories of tools: (1) context fragmentation, (2) summary, hide, and restore, and (3) intelligent search. Our approach enables LLMs to proactively manage their attention and working memory, analogous to how humans selectively focus on relevant information while filtering out distractions. Experimental evaluation on information-sparse benchmarks-PI-LLM (proactive interference) and NeedleBench Multi-Needle Reasoning-demonstrates that Sculptor significantly improves performance even without specific training, leveraging LLMs' inherent tool calling generalization capabilities. By enabling Active Context Management, Sculptor not only mitigates proactive interference but also provides a cognitive foundation for more reliable reasoning across diverse long-context tasks-highlighting that explicit context-control strategies, rather than merely larger token windows, are key to robustness at scale.