Besser mit Ihnen zusammenarbeiten: Integration von Benutzerkorrekturen in die Laufzeitdurchsetzung für Code-Agenten

Zusammenfassung

Interaktive LLM-Agenten werden zunehmend Teil des Arbeitsalltags, aber sie werden im Laufe der Zeit nicht zuverlässig einfacher zu handhaben: Eine in einer Sitzung gemerkte Korrektur kann in der nächsten Sitzung immer noch verletzt werden. Wir untersuchen diese Diskrepanz zwischen Präferenzzugriff und Präferenzeinhaltung. In Aufgaben, die aus anonymisierten realen Nutzer-Friktionsfällen abgeleitet wurden, bleiben bei der Mem0-Speicherung dennoch 57,5 % der anwendbaren Präferenzprüfungen verletzt. Wir führen TRACE (Test-time Rule Acquisition and Compiled Enforcement) ein, eine einsetzbare Skill-Layer-Pipeline für Coding-Agent-Laufzeitumgebungen, die Nutzerkorrekturen extrahiert, sie in atomare Regeln umschreibt und sie in Laufzeitprüfungen kompiliert, die bestanden werden müssen, bevor ein Agent zukünftige Aufgaben abschließt. Im Gegensatz zu Laufzeitprüfungen, die von Entwicklern im Voraus geschrieben werden, stammen TRACE-Skills aus den eigenen Chat-Korrekturen der Nutzer. Wir evaluieren TRACE mit simulierten User-in-the-Loop-Experimenten an ClawArena-Coding-Agent-Aufgaben und speicherintensiven Aufgaben, die von MemoryArena abgeleitet wurden. Auf ClawArena reduziert TRACE die Verletzung zurückgehaltener Präferenzen von 100,0 % auf 37,6 % bei verteilungsinternen Aufgaben und von 100,0 % auf 2,0 % bei verteilungsfremden Aufgaben. Bei den von MemoryArena abgeleiteten Aufgaben reduziert TRACE die verteilungsinterne Verletzung von 100,0 % auf 60,5 %, während es die stärkste Speicherbasislinie beim Aufgabenbestehen erreicht oder übertrifft. Diese Ergebnisse deuten darauf hin, dass die Kompilierung von Korrekturen in Laufzeitdurchsetzung ein wiederkehrendes Friktionsversagen beheben kann, das Speicher allein nicht zuverlässig löst, wodurch die Notwendigkeit für Nutzer verringert wird, dieselbe Korrektur in zukünftigen Sitzungen erneut zu formulieren. Der Experimentcode ist verfügbar unter https://github.com/YujunZhou/TRACE_exp, und der einsetzbare Skill ist verfügbar unter https://github.com/YujunZhou/tellonce.

English

Interactive LLM agents are becoming part of daily work, but they do not reliably become easier to work with over time: a correction remembered in one session may still be violated in the next. We study this gap between preference access and preference compliance. In tasks derived from anonymized real-user friction cases, Mem0 memory still leaves 57.5% of applicable preference checks violated. We introduce Test-time Rule Acquisition and Compiled Enforcement (TRACE), a drop-in skill-layer pipeline for coding-agent runtimes that mines user corrections, rewrites them as atomic rules, and compiles them into runtime checks that must pass before an agent completes future tasks. Unlike runtime checks written ahead of time by developers, TRACE skills come from the user's own chat corrections. We evaluate TRACE with simulated user-in-the-loop experiments on ClawArena coding-agent tasks and MemoryArena-derived memory-intensive tasks. On ClawArena, TRACE reduces held-out preference violation from 100.0% to 37.6% on in-distribution tasks and from 100.0% to 2.0% on out-of-distribution tasks. On MemoryArena-derived tasks, TRACE reduces in-distribution violation from 100.0% to 60.5% while matching or exceeding the strongest memory baseline on task pass. These results suggest that compiling corrections into runtime enforcement can address a repeated-friction failure mode that memory alone does not reliably solve, reducing the need for users to restate the same correction across future sessions. Experiment code is available at https://github.com/YujunZhou/TRACE_exp, and the deployable skill is available at https://github.com/YujunZhou/tellonce.