Zelfcompacterende Taalmodelagenten

Samenvatting

Lange agenttrajecten bestaande uit denkketens en toolaanroepen stapelen verouderde inhoud op die volgende generaties verankert en uiteindelijk het contextvenster overstijgt. Bestaande steigers beperken dit met compactie op vaste intervallen die wordt geactiveerd bij een token-drempel. Dergelijke triggers houden geen rekening met de trajectstructuur, waardoor het risico bestaat dat deelresultaten halverwege een afleiding of zoekopdracht worden weggegooid. Wij stellen SelfCompact voor, een steiger die het model zelf laat beslissen wanneer en hoe te compacteren. Concreet combineert het twee inferentietijd-elementen: (i) een compactietool die het model aanroept om de opgebouwde context samen te vatten, en (ii) een lichte rubric die aangeeft wanneer te activeren (een subtask is opgelost, of het traject convergeert) en wanneer te onderdrukken (halverwege een afleiding, of bij vastlopen). Beide zijn nodig. De tool alleen wordt ongelijkmatig gebruikt bij opengewichtmodellen, vaak op ongunstige momenten of helemaal niet; de rubric alleen kan niet handelen. Samen roepen ze effectieve adaptieve compactie op zonder enige fijnafstemming of externe supervisie. We presenteren empirische resultaten op zes benchmarks (competitieve wiskunde en agentisch zoeken) en zeven modellen. Onze resultaten tonen aan dat SelfCompact gelijkwaardig is aan of beter presteert dan compactie op vaste intervallen tegen een fractie van de tokenkosten, met een verbetering van maximaal 18,1 punten op wiskunde en 5–9 punten op agentisch zoeken bij 30–70% lagere kosten per vraag. Onze resultaten leggen een metacognitieve kloof bloot: hoewel ongepromote modellen niet betrouwbaar kunnen bepalen wanneer hun eigen context verslechtert, overbrugt een lichte rubric deze kloof, waarmee het moment van compactie wordt geherdefinieerd als een vaardigheid die steigers zonder training kunnen leveren.

English

Long agent traces composed of chains of thought and tool calls accumulate stale content that anchor subsequent generations, and eventually outgrow the context window. Existing scaffolds mitigate it with fixed-interval compaction triggered at a token threshold. Such triggers pay no heed to trajectory structure, risking discard of partial results mid-derivation or mid-search. We propose SelfCompact, a scaffold that allows the model itself to decide when and how to compact. Specifically, it pairs two inference-time elements: (i) a compaction tool the model invokes to summarize the accumulated context, and (ii) a lightweight rubric specifying when to fire (a sub-task has resolved, or the trajectory is converging) and when to suppress (mid-derivation, or when stuck). Both are needed. The tool alone is unevenly used across open-weight models, often invoked at unhelpful moments or not at all; the rubric alone cannot act. Together, they elicit effective adaptive compaction without any fine-tuning or external supervision. We present empirical results on six benchmarks (competitive math and agentic search) and seven models. Our results show that SelfCompact matches or exceeds fixed-interval summarization at a fraction of the token cost, improving over a no-summarization baseline by up to 18.1 points on math and 5-9 points on agentic search at 30-70% lower per-question cost. Our results expose a meta-cognitive gap: although unprompted models cannot reliably tell when their own context is rotting, a lightweight rubric closes this gap, reframing when to compact as a capability that scaffolds can supply without training.