Agentes de Modelo de Linguagem Autocompactantes

Resumo

Traços longos de agentes compostos por cadeias de pensamento e chamadas de ferramentas acumulam conteúdo obsoleto que ancora gerações subsequentes e, eventualmente, excede a janela de contexto. Arcabouços existentes mitigam isso com compactação em intervalos fixos acionada por um limite de tokens. Esses gatilhos ignoram a estrutura da trajetória, arriscando o descarte de resultados parciais no meio de uma derivação ou de uma busca. Propomos o SelfCompact, um arcabouço que permite ao próprio modelo decidir quando e como compactar. Especificamente, ele combina dois elementos de inferência: (i) uma ferramenta de compactação que o modelo invoca para resumir o contexto acumulado, e (ii) uma rubrica leve que especifica quando acionar (uma subtarefa foi resolvida, ou a trajetória está convergindo) e quando suprimir (no meio de uma derivação, ou quando em ponto morto). Ambos são necessários. A ferramenta sozinha é usada de forma desigual entre modelos de peso aberto, frequentemente invocada em momentos inúteis ou nem sequer utilizada; a rubrica sozinha não consegue agir. Juntos, eles elicitam compactação adaptativa eficaz sem qualquer ajuste fino ou supervisão externa. Apresentamos resultados empíricos em seis benchmarks (matemática competitiva e busca agentiva) e sete modelos. Nossos resultados mostram que o SelfCompact iguala ou supera a sumarização em intervalos fixos a uma fração do custo de tokens, melhorando em até 18,1 pontos em matemática e 5-9 pontos em busca agentiva em relação a uma linha de base sem sumarização, com 30-70% menos custo por pergunta. Nossos resultados expõem uma lacuna metacognitiva: embora modelos não instruídos não consigam determinar de forma confiável quando seu próprio contexto está se deteriorando, uma rubrica leve fecha essa lacuna, reformulando o momento da compactação como uma capacidade que arcabouços podem fornecer sem treinamento.

English

Long agent traces composed of chains of thought and tool calls accumulate stale content that anchor subsequent generations, and eventually outgrow the context window. Existing scaffolds mitigate it with fixed-interval compaction triggered at a token threshold. Such triggers pay no heed to trajectory structure, risking discard of partial results mid-derivation or mid-search. We propose SelfCompact, a scaffold that allows the model itself to decide when and how to compact. Specifically, it pairs two inference-time elements: (i) a compaction tool the model invokes to summarize the accumulated context, and (ii) a lightweight rubric specifying when to fire (a sub-task has resolved, or the trajectory is converging) and when to suppress (mid-derivation, or when stuck). Both are needed. The tool alone is unevenly used across open-weight models, often invoked at unhelpful moments or not at all; the rubric alone cannot act. Together, they elicit effective adaptive compaction without any fine-tuning or external supervision. We present empirical results on six benchmarks (competitive math and agentic search) and seven models. Our results show that SelfCompact matches or exceeds fixed-interval summarization at a fraction of the token cost, improving over a no-summarization baseline by up to 18.1 points on math and 5-9 points on agentic search at 30-70% lower per-question cost. Our results expose a meta-cognitive gap: although unprompted models cannot reliably tell when their own context is rotting, a lightweight rubric closes this gap, reframing when to compact as a capability that scaffolds can supply without training.