Harness-1: Reinforcement Learning voor Zoekagenten met Toestandsexternaliserende Harnassen

Samenvatting

Zoekagenten worden vaak getraind als beleidsregels over groeiende transcripten: het model moet beslissen hoe te zoeken terwijl het ook onthoudt wat het heeft gezien, welk bewijs nuttig is, welke beperkingen nog open staan en welke beweringen daadwerkelijk zijn gecontroleerd. Wij stellen dat deze formulering te veel routinematig statusbeheer bij het beleid legt: reinforcement learning wordt gedwongen om zowel semantische zoekbeslissingen als herstelbaar boekhoudwerk te optimaliseren, terwijl de omgeving dit betrouwbaarder kan onderhouden. We introduceren Harness-1, een 20B zoekagent (retrieval-subagent) getraind met reinforcement learning in een statusvol zoekharnas. Het harnas onderhoudt een werkgeheugen aan de omgevingszijde, met onder andere een kandidatenpool, een met belangrijkheid getagde samengestelde set, compacte bewijskoppelingen, verificatieregisters, gecomprimeerde en gedupliceerde observaties, en budgetbewuste contextweergave. Het beleid behoudt de semantische beslissingen: wat te zoeken, welke documenten te behouden of weg te gooien, wat te verifiëren en wanneer te stoppen. Over acht retrieval-benchmarks, variërend van web, financiën, patenten en multi-hop QA, behaalt Harness-1 een gemiddelde samengestelde recall van 0,730, waarmee het de op een na sterkste open zoek-subagent met +11,4 punten overtreft en concurrerend blijft met veel grotere frontier-model-zoekers. De winst is vooral groot op vasthoudtransfersbenchmarks, wat suggereert dat reinforcement learning over expliciete zoekstatus retrieval-gedrag kan opleveren dat generaliseert buiten de trainingsdomeinen. Onze code is beschikbaar op https://github.com/pat-jj/harness-1.

English

Search agents are often trained as policies over growing transcripts: the model must decide how to search while also remembering what it has seen, which evidence is useful, which constraints remain open, and which claims have actually been checked. We argue that this formulation puts too much routine state management inside the policy: reinforcement learning is forced to optimize both semantic search decisions and recoverable bookkeeping that the environment can maintain more reliably. We introduce Harness-1, a 20B search agent (retrieval subagent) trained with reinforcement learning inside a stateful search harness. The harness maintains environment-side working memory, including a candidate pool, an importance-tagged curated set, compact evidence links, verification records, compressed and deduplicated observations, and budget-aware context rendering. The policy retains the semantic decisions: what to search, which documents to keep or discard, what to verify, and when to stop. Across eight retrieval benchmarks spanning web, finance, patents, and multi-hop QA, Harness-1 achieves 0.730 average curated recall, outperforming the next strongest open search subagent by +11.4 points and remaining competitive with much larger frontier-model searchers. Its gains are especially strong on held-out transfer benchmarks, suggesting that reinforcement learning over explicit search state can produce retrieval behaviors that generalize beyond the training domains. Our code is available at https://github.com/pat-jj/harness-1.