PokeeResearch: Ricerca Profonda Efficace tramite Apprendimento per Rinforzo da Feedback di IA e Scaffale di Ragionamento Robusto

PokeeResearch: Effective Deep Research via Reinforcement Learning from AI Feedback and Robust Reasoning Scaffold

October 17, 2025

Autori: Yi Wan, Jiuqi Wang, Liam Li, Jinsong Liu, Ruihao Zhu, Zheqing Zhu

cs.AI

Abstract

I modelli linguistici di grandi dimensioni potenziati da strumenti (LLMs) stanno emergendo come agenti di ricerca avanzati, sistemi in grado di scomporre query complesse, recuperare evidenze esterne e sintetizzare risposte fondate. Tuttavia, gli attuali agenti rimangono limitati da un recupero superficiale, metriche di allineamento deboli e un comportamento fragile nell'uso degli strumenti. Introduciamo PokeeResearch-7B, un agente di ricerca avanzato da 7 miliardi di parametri, costruito all'interno di un framework unificato di apprendimento per rinforzo per robustezza, allineamento e scalabilità. PokeeResearch-7B è addestrato tramite un framework di Reinforcement Learning from AI Feedback (RLAIF) senza annotazioni, per ottimizzare le politiche utilizzando segnali di ricompensa basati su LLM che catturano accuratezza fattuale, fedeltà delle citazioni e aderenza alle istruzioni. Un'impalcatura di ragionamento multi-chiamata guidata da una catena di pensiero migliora ulteriormente la robustezza attraverso l'autoverifica e il recupero adattivo da fallimenti degli strumenti. Tra 10 benchmark popolari per la ricerca avanzata, PokeeResearch-7B raggiunge prestazioni all'avanguardia tra gli agenti di ricerca avanzati su scala 7B. Ciò evidenzia che un attento design di apprendimento per rinforzo e ragionamento può produrre agenti di IA efficienti, resilienti e di livello di ricerca. Il modello e il codice di inferenza sono open-source con licenza MIT all'indirizzo https://github.com/Pokee-AI/PokeeResearchOSS.

English

Tool-augmented large language models (LLMs) are emerging as deep research agents, systems that decompose complex queries, retrieve external evidence, and synthesize grounded responses. Yet current agents remain limited by shallow retrieval, weak alignment metrics, and brittle tool-use behavior. We introduce PokeeResearch-7B, a 7B-parameter deep research agent built under a unified reinforcement learning framework for robustness, alignment, and scalability. PokeeResearch-7B is trained by an annotation-free Reinforcement Learning from AI Feedback (RLAIF) framework to optimize policies using LLM-based reward signals that capture factual accuracy, citation faithfulness, and instruction adherence. A chain-of-thought-driven multi-call reasoning scaffold further enhances robustness through self-verification and adaptive recovery from tool failures. Among 10 popular deep research benchmarks, PokeeResearch-7B achieves state-of-the-art performance among 7B-scale deep research agents. This highlights that careful reinforcement learning and reasoning design can produce efficient, resilient, and research-grade AI agents. The model and inference code is open-sourced under MIT license at https://github.com/Pokee-AI/PokeeResearchOSS.