PokeeResearch: Pesquisa Profunda Eficaz por meio de Aprendizado por Reforço a partir de Feedback de IA e Estrutura de Raciocínio Robusta

PokeeResearch: Effective Deep Research via Reinforcement Learning from AI Feedback and Robust Reasoning Scaffold

October 17, 2025

Autores: Yi Wan, Jiuqi Wang, Liam Li, Jinsong Liu, Ruihao Zhu, Zheqing Zhu

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) aumentados por ferramentas estão surgindo como agentes de pesquisa profundos, sistemas que decompõem consultas complexas, recuperam evidências externas e sintetizam respostas fundamentadas. No entanto, os agentes atuais ainda são limitados por recuperações superficiais, métricas de alinhamento fracas e comportamento frágil no uso de ferramentas. Apresentamos o PokeeResearch-7B, um agente de pesquisa profundo com 7 bilhões de parâmetros, construído sob um framework unificado de aprendizado por reforço para robustez, alinhamento e escalabilidade. O PokeeResearch-7B é treinado por um framework de Aprendizado por Reforço a partir de Feedback de IA (RLAIF) sem anotações, para otimizar políticas usando sinais de recompensa baseados em LLM que capturam precisão factual, fidelidade de citação e aderência às instruções. Um andaime de raciocínio de múltiplas chamadas guiado por cadeia de pensamento aprimora ainda mais a robustez por meio de autoverificação e recuperação adaptativa de falhas de ferramentas. Entre 10 benchmarks populares de pesquisa profunda, o PokeeResearch-7B alcança desempenho de ponta entre agentes de pesquisa profunda em escala de 7B. Isso destaca que um design cuidadoso de aprendizado por reforço e raciocínio pode produzir agentes de IA eficientes, resilientes e de nível de pesquisa. O modelo e o código de inferência são disponibilizados como código aberto sob licença MIT em https://github.com/Pokee-AI/PokeeResearchOSS.

English

Tool-augmented large language models (LLMs) are emerging as deep research agents, systems that decompose complex queries, retrieve external evidence, and synthesize grounded responses. Yet current agents remain limited by shallow retrieval, weak alignment metrics, and brittle tool-use behavior. We introduce PokeeResearch-7B, a 7B-parameter deep research agent built under a unified reinforcement learning framework for robustness, alignment, and scalability. PokeeResearch-7B is trained by an annotation-free Reinforcement Learning from AI Feedback (RLAIF) framework to optimize policies using LLM-based reward signals that capture factual accuracy, citation faithfulness, and instruction adherence. A chain-of-thought-driven multi-call reasoning scaffold further enhances robustness through self-verification and adaptive recovery from tool failures. Among 10 popular deep research benchmarks, PokeeResearch-7B achieves state-of-the-art performance among 7B-scale deep research agents. This highlights that careful reinforcement learning and reasoning design can produce efficient, resilient, and research-grade AI agents. The model and inference code is open-sourced under MIT license at https://github.com/Pokee-AI/PokeeResearchOSS.