Harness-Handbuch: Wie man sich entwickelnde Agenten-Harnesses lesbar, navigierbar und editierbar macht

Harness Handbook: Making Evolving Agent Harnesses Readable,Navigable, and Editable

July 14, 2026

Autoren: Ruhan Wang, Yucheng Shi, Zongxia Li, Zhongzhi Li, Yue Yu, Junyao Yang, Kishan Panaganti, Haitao Mi, Dongruo Zhou, Leoweiliang

cs.AI

Zusammenfassung

Die Leistungsfähigkeit eines modernen KI-Agenten hängt nicht nur von seinem Fundamentmodell ab, sondern auch von seinem Harness, der Prompts erstellt, Zustände verwaltet, Werkzeuge aufruft und die Ausführung koordiniert. Da Modelle, APIs, Umgebungen und Anforderungen sich weiterentwickeln, muss der Harness fortlaufend angepasst werden. Bevor eine solche Änderung vorgenommen werden kann, muss ein Entwickler oder Codierungsagent alle Codestellen identifizieren, die das Zielverhalten implementieren. Dies ist schwierig, da produktive Harnesses groß, stark gekoppelt und verhaltensmäßig verteilt sind, während Änderungsanfragen beschreiben, was das System tun soll, und Repositorien nach Dateien und Modulen organisiert sind. Codesuche, Repositorien-Indizierung und Verarbeitung langer Kontexte erleichtern die Inspektion, überlassen die Wiederherstellung dieser Verhalten-zu-Code-Zuordnung jedoch weiterhin der manuellen Arbeit. Die Verhaltenslokalisierung stellt daher einen zentralen Engpass in der Harness-Evolution dar. Wir führen das Harness-Handbuch ein, eine verhaltensorientierte Repräsentation, die automatisch aus einer Harness-Codebasis mittels statischer Analyse und LLM-gestützter Strukturierung synthetisiert wird und jedes Verhalten mit seinem entsprechenden Quellcode verknüpft. Wir führen außerdem die verhaltensgeleitete progressive Offenlegung (BGPD) ein, die Agenten von Verhaltensweisen auf hoher Ebene zu relevanten Implementierungsdetails führt und Kandidatenstellen anhand des aktuellen Quellcodes verifiziert. Bei vielfältigen Änderungsanfragen aus zwei Open-Source-Harnesses verbessert die handbuchgestützte Planung die Verhaltenslokalisierung und die Qualität der Bearbeitungspläne bei gleichzeitig geringerem Planer-Token-Verbrauch, wobei die größten Verbesserungen bei verstreuten Stellen, selten ausgeführten Pfaden und modulübergreifenden Interaktionen erzielt werden. Die Evolution komplexer agentischer Systeme hängt daher nicht nur von der Generierung von Änderungen ab, sondern auch davon, zu bestimmen, wo diese Änderungen vorgenommen werden sollten.

English

The capability of a modern AI agent depends not only on its foundation model but also on its harness, which constructs prompts, manages state, invokes tools, and coordinates execution. As models, APIs, environments, and requirements evolve, the harness must be continually modified. Before such a change can be made, a developer or coding agent must identify all code locations that implement the target behavior. This is difficult because production harnesses are large, tightly coupled, and behaviorally distributed, while modification requests describe what the system should do and repositories are organized by files and modules. Code search, repository indexing, and long-context processing ease inspection, but still leave this behavior-to-code mapping to be recovered by hand. Behavior localization is therefore a central bottleneck in harness evolution. We introduce the Harness Handbook, a behavior-centric representation synthesized automatically from a harness codebase via static analysis and LLM-assisted structuring, linking each behavior to its corresponding source. We also introduce Behavior-Guided Progressive Disclosure (BGPD), which guides agents from high-level behaviors to relevant implementation details and verifies candidate locations against the current source. On diverse modification requests from two open-source harnesses, Handbook-Assisted planning improves behavior localization and edit-plan quality while using fewer planner tokens, with the largest gains on scattered sites, rarely executed paths, and cross-module interactions. Evolving complex agentic systems thus depends not only on generating edits, but also on determining where those edits should be made.