PokeeResearch: Effectief Diepgaand Onderzoek via Reinforcement Learning vanuit AI-feedback en Robuust Redeneerscaffold

PokeeResearch: Effective Deep Research via Reinforcement Learning from AI Feedback and Robust Reasoning Scaffold

October 17, 2025

Auteurs: Yi Wan, Jiuqi Wang, Liam Li, Jinsong Liu, Ruihao Zhu, Zheqing Zhu

cs.AI

Samenvatting

Tool-augmented grote taalmodellen (LLMs) ontwikkelen zich tot diepe onderzoeksagenten, systemen die complexe vragen ontleden, externe informatie ophalen en onderbouwde antwoorden samenstellen. Toch worden huidige agenten nog beperkt door oppervlakkige informatieverzameling, zwakke afstemmingsmetrieken en broos gebruik van tools. Wij introduceren PokeeResearch-7B, een 7B-parameter diepe onderzoeksagent die is gebouwd onder een uniform reinforcement learning-raamwerk voor robuustheid, afstemming en schaalbaarheid. PokeeResearch-7B wordt getraind door een annotatievrij Reinforcement Learning from AI Feedback (RLAIF)-raamwerk om beleidsoptimalisatie te realiseren met behulp van LLM-gebaseerde beloningssignalen die feitelijke nauwkeurigheid, citatietrouw en instructievolging vastleggen. Een keten-van-gedachten-gestuurde multi-call redeneerstructuur versterkt de robuustheid verder door zelfverificatie en adaptief herstel van toolfouten. Onder 10 populaire diepe onderzoeksbenchmarks behaalt PokeeResearch-7B state-of-the-art prestaties onder 7B-schaal diepe onderzoeksagenten. Dit benadrukt dat zorgvuldige reinforcement learning en redeneerontwerp efficiënte, veerkrachtige en onderzoekswaardige AI-agenten kunnen voortbrengen. Het model en de inferentiecode zijn open-source vrijgegeven onder MIT-licentie op https://github.com/Pokee-AI/PokeeResearchOSS.

English

Tool-augmented large language models (LLMs) are emerging as deep research agents, systems that decompose complex queries, retrieve external evidence, and synthesize grounded responses. Yet current agents remain limited by shallow retrieval, weak alignment metrics, and brittle tool-use behavior. We introduce PokeeResearch-7B, a 7B-parameter deep research agent built under a unified reinforcement learning framework for robustness, alignment, and scalability. PokeeResearch-7B is trained by an annotation-free Reinforcement Learning from AI Feedback (RLAIF) framework to optimize policies using LLM-based reward signals that capture factual accuracy, citation faithfulness, and instruction adherence. A chain-of-thought-driven multi-call reasoning scaffold further enhances robustness through self-verification and adaptive recovery from tool failures. Among 10 popular deep research benchmarks, PokeeResearch-7B achieves state-of-the-art performance among 7B-scale deep research agents. This highlights that careful reinforcement learning and reasoning design can produce efficient, resilient, and research-grade AI agents. The model and inference code is open-sourced under MIT license at https://github.com/Pokee-AI/PokeeResearchOSS.