FineVerify: Масштабирование вычислений во время тестирования с помощью детальной самопроверки для агентного поиска

Аннотация

Агентский поиск требует от агентов на основе языковых моделей изучения множества источников и ответа на сложные информационно-поисковые вопросы. Масштабирование вычислительных ресурсов во время тестирования является перспективным способом улучшения таких агентов, однако текущие подходы могут давать сбои, поскольку правильные ответы часто редки, а отбор на основе оценки зависит от калибровки модели. Мы предлагаем FineVerify — фреймворк мелкозернистой самопроверки, который разбивает каждый вопрос на проверяемые подвопросы, верифицирует сгенерированные кандидаты по каждому подвопросу и выбирает кандидата с наибольшей агрегированной оценкой. Такая структура проверки по каждому пункту превращает отбор в более простые локальные суждения и формирует оценки на основе единых явных критериев. На четырех бенчмарках агентского поиска и двух моделях FineVerify стабильно превосходит стандартные базовые методы масштабирования. При использовании всего четырех сгенерированных траекторий он улучшает GPT-5-mini на 8,2 процентных пункта точности, а Gemini-3-flash — в среднем на 5,6%. При 12 выборках FineVerify позволяет GPT-5-mini превзойти фронтирную модель GPT-5 на BrowseComp-Plus. Помимо точности, FineVerify формирует интерпретируемые следы верификации, которые помогают выявлять ошибки в бенчмарках, что открывает более широкие возможности применения для инспекции систем агентского поиска. Код и данные доступны по адресу https://github.com/XuZhao0/fineverify.

English

Agentic search requires language model agents to explore many sources and answer complex information-seeking questions. Scaling test-time compute is a promising way to improve these agents, but current approaches can fail, because correct answers are often sparse and score-based selection depends on model calibration. We propose FineVerify, a fine-grained self-verification framework that decomposes each question into checkable sub-questions, verifies sampled candidates against each sub-question, and selects the candidate with the highest aggregated score. This per-check structure turns selection into simpler local judgments and produces scores under the same explicit criteria. Across four agentic search benchmarks and two models, FineVerify consistently outperforms standard scaling baselines. With only four sampled trajectories, it improves GPT-5-mini by 8.2 accuracy points and Gemini-3-flash by 5.6% on average. With 12 samples, FineVerify enables GPT-5-mini to surpass frontier GPT-5 on BrowseComp-Plus. Beyond accuracy, FineVerify produces interpretable verification traces that help audit benchmark errors, suggesting broader applications for inspecting agentic search systems. Code and data are available at https://github.com/XuZhao0/fineverify