FineVerify: Opschalen van testtijdberekening met fijnmazige zelfverificatie voor agentisch zoeken

Samenvatting

Agentisch zoeken vereist dat taalmodellen agenten inzetten om talloze bronnen te verkennen en complexe informatiezoekende vragen te beantwoorden. Het opschalen van testtijdberekening is een veelbelovende manier om deze agenten te verbeteren, maar huidige benaderingen kunnen falen omdat correcte antwoorden vaak schaars zijn en scoregebaseerde selectie afhankelijk is van modelkalibratie. Wij stellen FineVerify voor, een fijnmazig zelfverificatiekader dat elke vraag opsplitst in controleerbare subvragen, bemonsterde kandidaten tegen elke subvraag verifieert en de kandidaat met de hoogste geaggregeerde score selecteert. Deze per-controle-structuur maakt van selectie eenvoudigere lokale beoordelingen en genereert scores onder dezelfde expliciete criteria. Over vier agentische zoekbenchmarks en twee modellen heen presteert FineVerify consistent beter dan standaard opschalingsbaselines. Met slechts vier bemonsterde trajecten verbetert het GPT-5-mini met 8,2 nauwkeurigheidspunten en Gemini-3-flash gemiddeld met 5,6%. Met 12 monsters stelt FineVerify GPT-5-mini in staat om frontier GPT-5 te overtreffen op BrowseComp-Plus. Naast nauwkeurigheid produceert FineVerify interpreteerbare verificatiesporen die helpen bij het auditen van benchmarkfouten, wat wijst op bredere toepassingen voor het inspecteren van agentische zoeksystemen. Code en gegevens zijn beschikbaar op https://github.com/XuZhao0/fineverify.

English

Agentic search requires language model agents to explore many sources and answer complex information-seeking questions. Scaling test-time compute is a promising way to improve these agents, but current approaches can fail, because correct answers are often sparse and score-based selection depends on model calibration. We propose FineVerify, a fine-grained self-verification framework that decomposes each question into checkable sub-questions, verifies sampled candidates against each sub-question, and selects the candidate with the highest aggregated score. This per-check structure turns selection into simpler local judgments and produces scores under the same explicit criteria. Across four agentic search benchmarks and two models, FineVerify consistently outperforms standard scaling baselines. With only four sampled trajectories, it improves GPT-5-mini by 8.2 accuracy points and Gemini-3-flash by 5.6% on average. With 12 samples, FineVerify enables GPT-5-mini to surpass frontier GPT-5 on BrowseComp-Plus. Beyond accuracy, FineVerify produces interpretable verification traces that help audit benchmark errors, suggesting broader applications for inspecting agentic search systems. Code and data are available at https://github.com/XuZhao0/fineverify