Самосжимающиеся агенты на основе языковых моделей

Аннотация

Длинные агентные трассы, состоящие из цепочек рассуждений и вызовов инструментов, накапливают устаревшее содержимое, которое закрепляет последующие генерации и в конечном счёте выходит за пределы контекстного окна. Существующие паллеты (scaffolds) смягчают эту проблему с помощью сжатия с фиксированным интервалом, активируемым по достижении порога числа токенов. Такие триггеры не учитывают структуру траектории, что приводит к риску отбрасывания частичных результатов на середине вывода или поиска. Мы предлагаем SelfCompact — палету, позволяющую самой модели решать, когда и как выполнять сжатие. В частности, она объединяет два элемента вывода во время инференса: (i) инструмент сжатия, который модель вызывает для обобщения накопленного контекста, и (ii) лёгкую рубрику, определяющую, когда срабатывать (подзадача решена, или траектория сходится), а когда подавлять (на середине вывода, или при застревании). Необходимы оба элемента. Инструмент сам по себе используется неравномерно в моделях с открытыми весами, часто вызывается в неподходящие моменты или не вызывается вовсе; одна рубрика неспособна действовать. Вместе они вызывают эффективное адаптивное сжатие без какого-либо дообучения или внешнего контроля. Мы приводим эмпирические результаты на шести бенчмарках (конкурентная математика и агентный поиск) и семи моделях. Наши результаты показывают, что SelfCompact достигает или превосходит фиксированное интервальное суммаризацию при доле стоимости токенов, улучшая базовый результат без суммаризации на величину до 18,1 балла по математике и на 5–9 баллов по агентному поиску при снижении стоимости на вопрос на 30–70%. Наши результаты выявляют метакогнитивный разрыв: хотя немотивированные модели не могут надёжно определить, когда их собственный контекст «гниёт», лёгкая рубрика закрывает этот разрыв, переформулируя вопрос о моменте сжатия как способности, которую палеты могут предоставлять без обучения.

English

Long agent traces composed of chains of thought and tool calls accumulate stale content that anchor subsequent generations, and eventually outgrow the context window. Existing scaffolds mitigate it with fixed-interval compaction triggered at a token threshold. Such triggers pay no heed to trajectory structure, risking discard of partial results mid-derivation or mid-search. We propose SelfCompact, a scaffold that allows the model itself to decide when and how to compact. Specifically, it pairs two inference-time elements: (i) a compaction tool the model invokes to summarize the accumulated context, and (ii) a lightweight rubric specifying when to fire (a sub-task has resolved, or the trajectory is converging) and when to suppress (mid-derivation, or when stuck). Both are needed. The tool alone is unevenly used across open-weight models, often invoked at unhelpful moments or not at all; the rubric alone cannot act. Together, they elicit effective adaptive compaction without any fine-tuning or external supervision. We present empirical results on six benchmarks (competitive math and agentic search) and seven models. Our results show that SelfCompact matches or exceeds fixed-interval summarization at a fraction of the token cost, improving over a no-summarization baseline by up to 18.1 points on math and 5-9 points on agentic search at 30-70% lower per-question cost. Our results expose a meta-cognitive gap: although unprompted models cannot reliably tell when their own context is rotting, a lightweight rubric closes this gap, reframing when to compact as a capability that scaffolds can supply without training.