Verso una Ricerca Profonda Personalizzata: Benchmark e Valutazioni

Towards Personalized Deep Research: Benchmarks and Evaluations

September 29, 2025

Autori: Yuan Liang, Jiaxian Li, Yuqing Wang, Piaohong Wang, Motong Tian, Pai Liu, Shuofei Qiao, Runnan Fang, He Zhu, Ge Zhang, Minghao Liu, Yuchen Eleanor Jiang, Ningyu Zhang, Wangchunshu Zhou

cs.AI

Abstract

Gli Agenti di Ricerca Profonda (Deep Research Agents, DRAs) possono condurre autonomamente indagini complesse e generare report completi, dimostrando un forte potenziale nel mondo reale. Tuttavia, le valutazioni esistenti si basano principalmente su benchmark a risposta chiusa, mentre i benchmark aperti per la ricerca profonda rimangono scarsi e tipicamente trascurano scenari personalizzati. Per colmare questa lacuna, introduciamo il Personalized Deep Research Bench, il primo benchmark per valutare la personalizzazione nei DRAs. Esso abbina 50 diverse attività di ricerca in 10 domini con 25 profili utente autentici che combinano attributi strutturati di personalità con contesti dinamici del mondo reale, producendo 250 query realistiche utente-compito. Per valutare le prestazioni del sistema, proponiamo il PQR Evaluation Framework, che misura congiuntamente (P) Allineamento alla Personalizzazione, (Q) Qualità del Contenuto e (R) Affidabilità Fattuale. I nostri esperimenti su una gamma di sistemi evidenziano le attuali capacità e limitazioni nella gestione della ricerca profonda personalizzata. Questo lavoro stabilisce una base rigorosa per lo sviluppo e la valutazione della prossima generazione di assistenti di ricerca AI veramente personalizzati.

English

Deep Research Agents (DRAs) can autonomously conduct complex investigations and generate comprehensive reports, demonstrating strong real-world potential. However, existing evaluations mostly rely on close-ended benchmarks, while open-ended deep research benchmarks remain scarce and typically neglect personalized scenarios. To bridge this gap, we introduce Personalized Deep Research Bench, the first benchmark for evaluating personalization in DRAs. It pairs 50 diverse research tasks across 10 domains with 25 authentic user profiles that combine structured persona attributes with dynamic real-world contexts, yielding 250 realistic user-task queries. To assess system performance, we propose the PQR Evaluation Framework, which jointly measures (P) Personalization Alignment, (Q) Content Quality, and (R) Factual Reliability. Our experiments on a range of systems highlight current capabilities and limitations in handling personalized deep research. This work establishes a rigorous foundation for developing and evaluating the next generation of truly personalized AI research assistants.