Naar gepersonaliseerd diepgaand onderzoek: benchmarks en evaluaties

Towards Personalized Deep Research: Benchmarks and Evaluations

September 29, 2025

Auteurs: Yuan Liang, Jiaxian Li, Yuqing Wang, Piaohong Wang, Motong Tian, Pai Liu, Shuofei Qiao, Runnan Fang, He Zhu, Ge Zhang, Minghao Liu, Yuchen Eleanor Jiang, Ningyu Zhang, Wangchunshu Zhou

cs.AI

Samenvatting

Deep Research Agents (DRA's) kunnen autonoom complexe onderzoeken uitvoeren en uitgebreide rapporten genereren, wat hun sterke potentieel in de praktijk aantoont. Bestaande evaluaties zijn echter voornamelijk gebaseerd op gesloten benchmarks, terwijl open-ended deep research benchmarks schaars blijven en doorgaans gepersonaliseerde scenario's verwaarlozen. Om deze kloof te overbruggen, introduceren we Personalized Deep Research Bench, de eerste benchmark voor het evalueren van personalisatie in DRA's. Deze koppelt 50 diverse onderzoeks taken uit 10 domeinen aan 25 authentieke gebruikersprofielen die gestructureerde persona-kenmerken combineren met dynamische, real-world contexten, wat resulteert in 250 realistische gebruiker-taakvragen. Om de systeemprestaties te beoordelen, stellen we het PQR Evaluatie Framework voor, dat gezamenlijk (P) Personalisatie Afstemming, (Q) Inhoudskwaliteit en (R) Feitelijke Betrouwbaarheid meet. Onze experimenten met een reeks systemen belichten de huidige mogelijkheden en beperkingen bij het omgaan met gepersonaliseerd diepgaand onderzoek. Dit werk legt een rigoureuze basis voor de ontwikkeling en evaluatie van de volgende generatie echt gepersonaliseerde AI-onderzoeksassistenten.

English

Deep Research Agents (DRAs) can autonomously conduct complex investigations and generate comprehensive reports, demonstrating strong real-world potential. However, existing evaluations mostly rely on close-ended benchmarks, while open-ended deep research benchmarks remain scarce and typically neglect personalized scenarios. To bridge this gap, we introduce Personalized Deep Research Bench, the first benchmark for evaluating personalization in DRAs. It pairs 50 diverse research tasks across 10 domains with 25 authentic user profiles that combine structured persona attributes with dynamic real-world contexts, yielding 250 realistic user-task queries. To assess system performance, we propose the PQR Evaluation Framework, which jointly measures (P) Personalization Alignment, (Q) Content Quality, and (R) Factual Reliability. Our experiments on a range of systems highlight current capabilities and limitations in handling personalized deep research. This work establishes a rigorous foundation for developing and evaluating the next generation of truly personalized AI research assistants.