PokeeResearch: Эффективное углублённое исследование с использованием обучения с подкреплением на основе обратной связи от ИИ и устойчивой структуры рассуждений

PokeeResearch: Effective Deep Research via Reinforcement Learning from AI Feedback and Robust Reasoning Scaffold

October 17, 2025

Авторы: Yi Wan, Jiuqi Wang, Liam Li, Jinsong Liu, Ruihao Zhu, Zheqing Zhu

cs.AI

Аннотация

Модели языка с инструментальным расширением (LLMs) становятся глубокими исследовательскими агентами — системами, которые декомпозируют сложные запросы, извлекают внешние данные и синтезируют обоснованные ответы. Однако современные агенты остаются ограниченными поверхностным поиском, слабыми метриками согласованности и хрупким использованием инструментов. Мы представляем PokeeResearch-7B, 7B-параметрического глубокого исследовательского агента, разработанного в рамках единой системы обучения с подкреплением для обеспечения устойчивости, согласованности и масштабируемости. PokeeResearch-7B обучается с использованием аннотационно-свободного подхода Reinforcement Learning from AI Feedback (RLAIF), оптимизируя политики на основе сигналов вознаграждения от LLM, которые учитывают фактическую точность, верность цитирования и соблюдение инструкций. Многошаговый каркас рассуждений, основанный на цепочке мыслей, дополнительно повышает устойчивость за счет самопроверки и адаптивного восстановления после сбоев инструментов. Среди 10 популярных бенчмарков для глубоких исследований PokeeResearch-7B демонстрирует наилучшие результаты среди агентов с масштабом 7B. Это подчеркивает, что тщательно продуманное обучение с подкреплением и проектирование рассуждений могут создавать эффективные, устойчивые и исследовательские ИИ-агенты. Модель и код для вывода доступны под лицензией MIT по адресу https://github.com/Pokee-AI/PokeeResearchOSS.

English

Tool-augmented large language models (LLMs) are emerging as deep research agents, systems that decompose complex queries, retrieve external evidence, and synthesize grounded responses. Yet current agents remain limited by shallow retrieval, weak alignment metrics, and brittle tool-use behavior. We introduce PokeeResearch-7B, a 7B-parameter deep research agent built under a unified reinforcement learning framework for robustness, alignment, and scalability. PokeeResearch-7B is trained by an annotation-free Reinforcement Learning from AI Feedback (RLAIF) framework to optimize policies using LLM-based reward signals that capture factual accuracy, citation faithfulness, and instruction adherence. A chain-of-thought-driven multi-call reasoning scaffold further enhances robustness through self-verification and adaptive recovery from tool failures. Among 10 popular deep research benchmarks, PokeeResearch-7B achieves state-of-the-art performance among 7B-scale deep research agents. This highlights that careful reinforcement learning and reasoning design can produce efficient, resilient, and research-grade AI agents. The model and inference code is open-sourced under MIT license at https://github.com/Pokee-AI/PokeeResearchOSS.