Aprimorando a Colaboração com Você: Compilando Correções do Usuário em Imposição em Tempo de Execução para Agentes de Codificação

Resumo

Agentes LLM interativos estão se tornando parte do trabalho diário, mas não se tornam, de forma confiável, mais fáceis de usar ao longo do tempo: uma correção lembrada em uma sessão pode ainda ser violada na próxima. Estudamos essa lacuna entre o acesso à preferência e a conformidade com a preferência. Em tarefas derivadas de casos anonimizados de atritos de usuários reais, a memória Mem0 ainda deixa 57,5% das verificações de preferência aplicáveis violadas. Apresentamos a Aquisição de Regras e Aplicação Compilada em Tempo de Teste (TRACE, na sigla em inglês), um pipeline de camada de habilidades plug-and-play para ambientes de execução de agentes de codificação que extrai correções do usuário, as reescreve como regras atômicas e as compila em verificações de tempo de execução que devem ser aprovadas antes que um agente conclua tarefas futuras. Diferentemente das verificações de tempo de execução escritas antecipadamente por desenvolvedores, as habilidades TRACE vêm das próprias correções do usuário em chat. Avaliamos o TRACE com experimentos simulados de usuário no circuito em tarefas de agente de codificação ClawArena e tarefas intensivas em memória derivadas do MemoryArena. No ClawArena, o TRACE reduz a violação de preferência retida de 100,0% para 37,6% em tarefas dentro da distribuição e de 100,0% para 2,0% em tarefas fora da distribuição. Em tarefas derivadas do MemoryArena, o TRACE reduz a violação dentro da distribuição de 100,0% para 60,5%, ao mesmo tempo que iguala ou supera a linha de base de memória mais forte no passe de tarefa. Esses resultados sugerem que compilar correções em aplicação em tempo de execução pode abordar um modo de falha de atrito repetido que apenas a memória não resolve de forma confiável, reduzindo a necessidade de os usuários reafirmarem a mesma correção em sessões futuras. O código do experimento está disponível em https://github.com/YujunZhou/TRACE_exp, e a habilidade implantável está disponível em https://github.com/YujunZhou/tellonce.

English

Interactive LLM agents are becoming part of daily work, but they do not reliably become easier to work with over time: a correction remembered in one session may still be violated in the next. We study this gap between preference access and preference compliance. In tasks derived from anonymized real-user friction cases, Mem0 memory still leaves 57.5% of applicable preference checks violated. We introduce Test-time Rule Acquisition and Compiled Enforcement (TRACE), a drop-in skill-layer pipeline for coding-agent runtimes that mines user corrections, rewrites them as atomic rules, and compiles them into runtime checks that must pass before an agent completes future tasks. Unlike runtime checks written ahead of time by developers, TRACE skills come from the user's own chat corrections. We evaluate TRACE with simulated user-in-the-loop experiments on ClawArena coding-agent tasks and MemoryArena-derived memory-intensive tasks. On ClawArena, TRACE reduces held-out preference violation from 100.0% to 37.6% on in-distribution tasks and from 100.0% to 2.0% on out-of-distribution tasks. On MemoryArena-derived tasks, TRACE reduces in-distribution violation from 100.0% to 60.5% while matching or exceeding the strongest memory baseline on task pass. These results suggest that compiling corrections into runtime enforcement can address a repeated-friction failure mode that memory alone does not reliably solve, reducing the need for users to restate the same correction across future sessions. Experiment code is available at https://github.com/YujunZhou/TRACE_exp, and the deployable skill is available at https://github.com/YujunZhou/tellonce.