Hacia una Investigación Profunda Personalizada: Puntos de Referencia y Evaluaciones

Towards Personalized Deep Research: Benchmarks and Evaluations

September 29, 2025

Autores: Yuan Liang, Jiaxian Li, Yuqing Wang, Piaohong Wang, Motong Tian, Pai Liu, Shuofei Qiao, Runnan Fang, He Zhu, Ge Zhang, Minghao Liu, Yuchen Eleanor Jiang, Ningyu Zhang, Wangchunshu Zhou

cs.AI

Resumen

Los Agentes de Investigación Profunda (DRAs, por sus siglas en inglés) pueden llevar a cabo investigaciones complejas de manera autónoma y generar informes exhaustivos, demostrando un fuerte potencial en el mundo real. Sin embargo, las evaluaciones existentes se basan principalmente en benchmarks de respuestas cerradas, mientras que los benchmarks de investigación profunda de respuestas abiertas siguen siendo escasos y, por lo general, descuidan los escenarios personalizados. Para cerrar esta brecha, presentamos el Personalized Deep Research Bench, el primer benchmark diseñado para evaluar la personalización en los DRAs. Este empareja 50 tareas de investigación diversas en 10 dominios con 25 perfiles de usuarios auténticos que combinan atributos de persona estructurados con contextos dinámicos del mundo real, generando 250 consultas realistas de usuario-tarea. Para evaluar el rendimiento del sistema, proponemos el Marco de Evaluación PQR, que mide conjuntamente (P) la Alineación de Personalización, (Q) la Calidad del Contenido y (R) la Fiabilidad de los Hechos. Nuestros experimentos en una variedad de sistemas destacan las capacidades y limitaciones actuales en el manejo de la investigación profunda personalizada. Este trabajo establece una base rigurosa para el desarrollo y evaluación de la próxima generación de asistentes de investigación con IA verdaderamente personalizados.

English

Deep Research Agents (DRAs) can autonomously conduct complex investigations and generate comprehensive reports, demonstrating strong real-world potential. However, existing evaluations mostly rely on close-ended benchmarks, while open-ended deep research benchmarks remain scarce and typically neglect personalized scenarios. To bridge this gap, we introduce Personalized Deep Research Bench, the first benchmark for evaluating personalization in DRAs. It pairs 50 diverse research tasks across 10 domains with 25 authentic user profiles that combine structured persona attributes with dynamic real-world contexts, yielding 250 realistic user-task queries. To assess system performance, we propose the PQR Evaluation Framework, which jointly measures (P) Personalization Alignment, (Q) Content Quality, and (R) Factual Reliability. Our experiments on a range of systems highlight current capabilities and limitations in handling personalized deep research. This work establishes a rigorous foundation for developing and evaluating the next generation of truly personalized AI research assistants.