FineVerify: Skalierung der Testzeit-Berechnung durch feinkörnige Selbstverifikation für agentische Suche

Zusammenfassung

Agentische Suche erfordert, dass Sprachmodell-Agenten viele Quellen erkunden und komplexe informationssuchende Fragen beantworten. Die Skalierung der Rechenzeit zur Testzeit ist ein vielversprechender Ansatz, um diese Agenten zu verbessern, allerdings können aktuelle Methoden versagen, da korrekte Antworten oft spärlich gesät sind und die auswahlbasierte Bewertung von der Kalibrierung des Modells abhängt. Wir schlagen FineVerify vor, ein feinkörniges Selbstverifikations-Framework, das jede Frage in überprüfbare Teilfragen zerlegt, sampleierte Kandidaten anhand jeder Teilfrage verifiziert und den Kandidaten mit der höchsten aggregierten Punktzahl auswählt. Diese Pro-Check-Struktur verwandelt die Auswahl in einfachere lokale Urteile und erzeugt Punktzahlen unter denselben expliziten Kriterien. Über vier Benchmarks zur agentischen Suche und zwei Modelle hinweg übertrifft FineVerify konsistent die standardmäßigen Skalierungsbaselines. Mit nur vier sampleierten Trajektorien verbessert es GPT-5-mini um durchschnittlich 8,2 Genauigkeitspunkte und Gemini-3-flash um 5,6 %. Mit 12 Samples ermöglicht FineVerify GPT-5-mini, das führende GPT-5 auf BrowseComp-Plus zu übertreffen. Über die Genauigkeit hinaus erzeugt FineVerify interpretierbare Verifikationsspuren, die bei der Prüfung von Benchmark-Fehlern helfen, was auf breitere Anwendungen zur Inspektion agentischer Suchsysteme hindeutet. Code und Daten sind verfügbar unter https://github.com/XuZhao0/fineverify.

English

Agentic search requires language model agents to explore many sources and answer complex information-seeking questions. Scaling test-time compute is a promising way to improve these agents, but current approaches can fail, because correct answers are often sparse and score-based selection depends on model calibration. We propose FineVerify, a fine-grained self-verification framework that decomposes each question into checkable sub-questions, verifies sampled candidates against each sub-question, and selects the candidate with the highest aggregated score. This per-check structure turns selection into simpler local judgments and produces scores under the same explicit criteria. Across four agentic search benchmarks and two models, FineVerify consistently outperforms standard scaling baselines. With only four sampled trajectories, it improves GPT-5-mini by 8.2 accuracy points and Gemini-3-flash by 5.6% on average. With 12 samples, FineVerify enables GPT-5-mini to surpass frontier GPT-5 on BrowseComp-Plus. Beyond accuracy, FineVerify produces interpretable verification traces that help audit benchmark errors, suggesting broader applications for inspecting agentic search systems. Code and data are available at https://github.com/XuZhao0/fineverify