PokeeResearch: Effektive tiefgehende Forschung durch Reinforcement Learning aus KI-Feedback und robustem Reasoning-Gerüst

PokeeResearch: Effective Deep Research via Reinforcement Learning from AI Feedback and Robust Reasoning Scaffold

October 17, 2025

papers.authors: Yi Wan, Jiuqi Wang, Liam Li, Jinsong Liu, Ruihao Zhu, Zheqing Zhu

cs.AI

papers.abstract

Tool-augmentierte große Sprachmodelle (LLMs) entwickeln sich zunehmend zu tiefgreifenden Forschungsagenten, Systeme, die komplexe Anfragen zerlegen, externe Belege abrufen und fundierte Antworten synthetisieren. Dennoch bleiben aktuelle Agenten durch oberflächliche Recherche, schwache Ausrichtungsmetriken und brüchiges Tool-Nutzungsverhalten eingeschränkt. Wir stellen PokeeResearch-7B vor, einen 7B-Parameter tiefgreifenden Forschungsagenten, der unter einem einheitlichen Reinforcement-Learning-Framework für Robustheit, Ausrichtung und Skalierbarkeit entwickelt wurde. PokeeResearch-7B wird durch ein annotierungsfreies Reinforcement Learning from AI Feedback (RLAIF)-Framework trainiert, um Richtlinien mithilfe von LLM-basierten Belohnungssignalen zu optimieren, die faktische Genauigkeit, Zitatstreue und Befolgung von Anweisungen erfassen. Ein Chain-of-Thought-gesteuertes Multi-Call-Reasoning-Gerüst erhöht die Robustheit weiter durch Selbstverifikation und adaptive Wiederherstellung bei Tool-Fehlern. Unter 10 beliebten Benchmark-Tests für tiefgreifende Forschung erreicht PokeeResearch-7B Spitzenleistungen unter den 7B-skaligen tiefgreifenden Forschungsagenten. Dies unterstreicht, dass sorgfältiges Reinforcement Learning und Reasoning-Design effiziente, widerstandsfähige und forschungsfähige KI-Agenten hervorbringen können. Das Modell und der Inferenzcode sind unter der MIT-Lizenz auf https://github.com/Pokee-AI/PokeeResearchOSS quelloffen verfügbar.

English

Tool-augmented large language models (LLMs) are emerging as deep research agents, systems that decompose complex queries, retrieve external evidence, and synthesize grounded responses. Yet current agents remain limited by shallow retrieval, weak alignment metrics, and brittle tool-use behavior. We introduce PokeeResearch-7B, a 7B-parameter deep research agent built under a unified reinforcement learning framework for robustness, alignment, and scalability. PokeeResearch-7B is trained by an annotation-free Reinforcement Learning from AI Feedback (RLAIF) framework to optimize policies using LLM-based reward signals that capture factual accuracy, citation faithfulness, and instruction adherence. A chain-of-thought-driven multi-call reasoning scaffold further enhances robustness through self-verification and adaptive recovery from tool failures. Among 10 popular deep research benchmarks, PokeeResearch-7B achieves state-of-the-art performance among 7B-scale deep research agents. This highlights that careful reinforcement learning and reasoning design can produce efficient, resilient, and research-grade AI agents. The model and inference code is open-sourced under MIT license at https://github.com/Pokee-AI/PokeeResearchOSS.