Harness-1: Обучение с подкреплением для поисковых агентов с обвязками, экстернализирующими состояние

Аннотация

Поисковые агенты часто обучаются как политики, действующие на основе растущих транскриптов: модель должна решать, как осуществлять поиск, одновременно запоминая увиденное, какая информация полезна, какие ограничения остаются открытыми и какие утверждения были фактически проверены. Мы утверждаем, что такая формулировка возлагает слишком много рутинного управления состоянием на политику: обучение с подкреплением вынуждено оптимизировать как семантические решения о поиске, так и восстанавливаемые операции учёта, которые окружение может поддерживать более надёжно. Мы представляем Harness-1 — поисковый агент (подпрограмму поиска) с 20 миллиардами параметров, обученный с помощью подкрепления внутри оснастки поиска с сохранением состояния. Оснастка поддерживает рабочую память на стороне окружения, включая пул кандидатов, курируемый набор с тегами важности, компактные ссылки на свидетельства, записи верификации, сжатые и дедуплицированные наблюдения, а также отрисовку контекста с учётом бюджета. Политика сохраняет семантические решения: что искать, какие документы сохранять или отбрасывать, что проверять и когда остановиться. На восьми эталонах поиска, охватывающих веб, финансы, патенты и многошаговые вопросно-ответные системы, Harness-1 достигает среднего курируемого показателя полноты 0,730, превосходя следующую по силе открытую подпрограмму поиска на +11,4 процентных пункта и оставаясь конкурентоспособным с гораздо более крупными поисковыми системами на базе frontier-моделей. Его преимущества особенно заметны на отложенных эталонах переноса, что позволяет предположить, что обучение с подкреплением на основе явного состояния поиска может порождать поведение при извлечении, обобщаемое за пределы доменов обучения. Наш код доступен по адресу https://github.com/pat-jj/harness-1.

English

Search agents are often trained as policies over growing transcripts: the model must decide how to search while also remembering what it has seen, which evidence is useful, which constraints remain open, and which claims have actually been checked. We argue that this formulation puts too much routine state management inside the policy: reinforcement learning is forced to optimize both semantic search decisions and recoverable bookkeeping that the environment can maintain more reliably. We introduce Harness-1, a 20B search agent (retrieval subagent) trained with reinforcement learning inside a stateful search harness. The harness maintains environment-side working memory, including a candidate pool, an importance-tagged curated set, compact evidence links, verification records, compressed and deduplicated observations, and budget-aware context rendering. The policy retains the semantic decisions: what to search, which documents to keep or discard, what to verify, and when to stop. Across eight retrieval benchmarks spanning web, finance, patents, and multi-hop QA, Harness-1 achieves 0.730 average curated recall, outperforming the next strongest open search subagent by +11.4 points and remaining competitive with much larger frontier-model searchers. Its gains are especially strong on held-out transfer benchmarks, suggesting that reinforcement learning over explicit search state can produce retrieval behaviors that generalize beyond the training domains. Our code is available at https://github.com/pat-jj/harness-1.