PokeeResearch: Investigación Profunda Efectiva mediante Aprendizaje por Refuerzo a partir de Retroalimentación de IA y Andamiaje de Razonamiento Robusto

PokeeResearch: Effective Deep Research via Reinforcement Learning from AI Feedback and Robust Reasoning Scaffold

October 17, 2025

Autores: Yi Wan, Jiuqi Wang, Liam Li, Jinsong Liu, Ruihao Zhu, Zheqing Zhu

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs) potenciados con herramientas están surgiendo como agentes de investigación profunda, sistemas que descomponen consultas complejas, recuperan evidencia externa y sintetizan respuestas fundamentadas. Sin embargo, los agentes actuales siguen limitados por una recuperación superficial, métricas de alineación débiles y un comportamiento frágil en el uso de herramientas. Presentamos PokeeResearch-7B, un agente de investigación profunda de 7 mil millones de parámetros construido bajo un marco unificado de aprendizaje por refuerzo para robustez, alineación y escalabilidad. PokeeResearch-7B es entrenado mediante un marco de Aprendizaje por Refuerzo a partir de Retroalimentación de IA (RLAIF) sin anotaciones, optimizando políticas utilizando señales de recompensa basadas en LLM que capturan precisión factual, fidelidad en las citas y adherencia a las instrucciones. Un andamiaje de razonamiento multicall impulsado por cadena de pensamiento mejora aún más la robustez mediante autoverificación y recuperación adaptativa ante fallos en las herramientas. Entre 10 puntos de referencia populares de investigación profunda, PokeeResearch-7B logra un rendimiento de vanguardia entre los agentes de investigación profunda de escala 7B. Esto destaca que un diseño cuidadoso de aprendizaje por refuerzo y razonamiento puede producir agentes de IA eficientes, resilientes y aptos para la investigación. El modelo y el código de inferencia se publican bajo licencia MIT en https://github.com/Pokee-AI/PokeeResearchOSS.

English

Tool-augmented large language models (LLMs) are emerging as deep research agents, systems that decompose complex queries, retrieve external evidence, and synthesize grounded responses. Yet current agents remain limited by shallow retrieval, weak alignment metrics, and brittle tool-use behavior. We introduce PokeeResearch-7B, a 7B-parameter deep research agent built under a unified reinforcement learning framework for robustness, alignment, and scalability. PokeeResearch-7B is trained by an annotation-free Reinforcement Learning from AI Feedback (RLAIF) framework to optimize policies using LLM-based reward signals that capture factual accuracy, citation faithfulness, and instruction adherence. A chain-of-thought-driven multi-call reasoning scaffold further enhances robustness through self-verification and adaptive recovery from tool failures. Among 10 popular deep research benchmarks, PokeeResearch-7B achieves state-of-the-art performance among 7B-scale deep research agents. This highlights that careful reinforcement learning and reasoning design can produce efficient, resilient, and research-grade AI agents. The model and inference code is open-sourced under MIT license at https://github.com/Pokee-AI/PokeeResearchOSS.