Sculptor: Stärkung von LLMs durch kognitive Handlungsfähigkeit mittels aktivem Kontextmanagement

Sculptor: Empowering LLMs with Cognitive Agency via Active Context Management

August 6, 2025

papers.authors: Mo Li, L. H. Xu, Qitai Tan, Ting Cao, Yunxin Liu

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) leiden unter einer erheblichen Leistungsverschlechterung bei der Verarbeitung langer Kontexte aufgrund von proaktiver Interferenz, bei der irrelevante Informationen in früheren Teilen des Kontexts das logische Denken und die Gedächtnisabrufe beeinträchtigen. Während sich die meisten Forschungsarbeiten auf externe Speichersysteme konzentrieren, um die Fähigkeiten von LLMs zu erweitern, schlagen wir einen komplementären Ansatz vor: die Ausstattung von LLMs mit Werkzeugen zur aktiven Kontextverwaltung (Active Context Management, ACM), um ihr internes Arbeitsgedächtnis gezielt zu formen. Wir stellen Sculptor vor, ein Framework, das LLMs mit drei Kategorien von Werkzeugen ausstattet: (1) Kontextfragmentierung, (2) Zusammenfassung, Ausblendung und Wiederherstellung sowie (3) intelligente Suche. Unser Ansatz ermöglicht es LLMs, ihre Aufmerksamkeit und ihr Arbeitsgedächtnis proaktiv zu steuern, ähnlich wie Menschen sich selektiv auf relevante Informationen konzentrieren und Ablenkungen ausblenden. Experimentelle Auswertungen auf informationsarmen Benchmarks – PI-LLM (proaktive Interferenz) und NeedleBench Multi-Needle Reasoning – zeigen, dass Sculptor die Leistung selbst ohne spezifisches Training erheblich verbessert, indem es die inhärenten Fähigkeiten von LLMs zur Werkzeugnutzung verallgemeinert. Durch die Ermöglichung aktiver Kontextverwaltung mildert Sculptor nicht nur proaktive Interferenz, sondern schafft auch eine kognitive Grundlage für zuverlässigeres Denken über diverse langkontextbezogene Aufgaben hinweg – und verdeutlicht, dass explizite Kontextkontrollstrategien, und nicht lediglich größere Token-Fenster, der Schlüssel zur Robustheit im großen Maßstab sind.

English

Large Language Models (LLMs) suffer from significant performance degradation when processing long contexts due to proactive interference, where irrelevant information in earlier parts of the context disrupts reasoning and memory recall. While most research focuses on external memory systems to augment LLMs' capabilities, we propose a complementary approach: empowering LLMs with Active Context Management (ACM) tools to actively sculpt their internal working memory. We introduce Sculptor, a framework that equips LLMs with three categories of tools: (1) context fragmentation, (2) summary, hide, and restore, and (3) intelligent search. Our approach enables LLMs to proactively manage their attention and working memory, analogous to how humans selectively focus on relevant information while filtering out distractions. Experimental evaluation on information-sparse benchmarks-PI-LLM (proactive interference) and NeedleBench Multi-Needle Reasoning-demonstrates that Sculptor significantly improves performance even without specific training, leveraging LLMs' inherent tool calling generalization capabilities. By enabling Active Context Management, Sculptor not only mitigates proactive interference but also provides a cognitive foundation for more reliable reasoning across diverse long-context tasks-highlighting that explicit context-control strategies, rather than merely larger token windows, are key to robustness at scale.