Совершенствование совместной работы: компиляция пользовательских исправлений в контроль времени выполнения для агентов кодирования

Аннотация

Интерактивные LLM-агенты становятся частью повседневной работы, но со временем они не становятся надёжно более удобными в работе: исправление, запомненное в одном сеансе, всё ещё может быть нарушено в следующем. Мы изучаем этот разрыв между доступом к предпочтениям и соблюдением предпочтений. В задачах, полученных из анонимизированных случаев трения реальных пользователей, память Mem0 по-прежнему оставляет 57,5% применимых проверок предпочтений нарушенными. Мы представляем метод Test-time Rule Acquisition and Compiled Enforcement (TRACE) — встраиваемый конвейер уровня навыков для сред выполнения кодирующих агентов, который извлекает исправления пользователя, переписывает их в атомарные правила и компилирует их в проверки времени выполнения, которые должны быть пройдены до того, как агент завершит будущие задачи. В отличие от проверок времени выполнения, заранее написанных разработчиками, навыки TRACE берутся из собственных исправлений пользователя в чате. Мы оцениваем TRACE с помощью симулированных экспериментов с участием пользователя в задачах кодирующего агента ClawArena и задачах, интенсивных по памяти, полученных из MemoryArena. На ClawArena TRACE снижает нарушение предпочтений на отложенной выборке с 100,0% до 37,6% на задачах в рамках распределения и с 100,0% до 2,0% на задачах вне распределения. На задачах, полученных из MemoryArena, TRACE снижает нарушение в рамках распределения с 100,0% до 60,5%, при этом соответствуя или превосходя самый сильный базовый уровень памяти по прохождению задачи. Эти результаты показывают, что компиляция исправлений в принуждение времени выполнения может устранить режим отказа с повторяющимся трением, который одна лишь память не может надёжно решить, снижая необходимость для пользователей повторно формулировать одно и то же исправление в будущих сеансах. Код экспериментов доступен по адресу https://github.com/YujunZhou/TRACE_exp, а развертываемый навык — по адресу https://github.com/YujunZhou/tellonce.

English

Interactive LLM agents are becoming part of daily work, but they do not reliably become easier to work with over time: a correction remembered in one session may still be violated in the next. We study this gap between preference access and preference compliance. In tasks derived from anonymized real-user friction cases, Mem0 memory still leaves 57.5% of applicable preference checks violated. We introduce Test-time Rule Acquisition and Compiled Enforcement (TRACE), a drop-in skill-layer pipeline for coding-agent runtimes that mines user corrections, rewrites them as atomic rules, and compiles them into runtime checks that must pass before an agent completes future tasks. Unlike runtime checks written ahead of time by developers, TRACE skills come from the user's own chat corrections. We evaluate TRACE with simulated user-in-the-loop experiments on ClawArena coding-agent tasks and MemoryArena-derived memory-intensive tasks. On ClawArena, TRACE reduces held-out preference violation from 100.0% to 37.6% on in-distribution tasks and from 100.0% to 2.0% on out-of-distribution tasks. On MemoryArena-derived tasks, TRACE reduces in-distribution violation from 100.0% to 60.5% while matching or exceeding the strongest memory baseline on task pass. These results suggest that compiling corrections into runtime enforcement can address a repeated-friction failure mode that memory alone does not reliably solve, reducing the need for users to restate the same correction across future sessions. Experiment code is available at https://github.com/YujunZhou/TRACE_exp, and the deployable skill is available at https://github.com/YujunZhou/tellonce.