Em Direção à Pesquisa Profunda Personalizada: Benchmarks e Avaliações

Towards Personalized Deep Research: Benchmarks and Evaluations

September 29, 2025

Autores: Yuan Liang, Jiaxian Li, Yuqing Wang, Piaohong Wang, Motong Tian, Pai Liu, Shuofei Qiao, Runnan Fang, He Zhu, Ge Zhang, Minghao Liu, Yuchen Eleanor Jiang, Ningyu Zhang, Wangchunshu Zhou

cs.AI

Resumo

Agentes de Pesquisa Profunda (DRAs) podem conduzir investigações complexas de forma autônoma e gerar relatórios abrangentes, demonstrando um forte potencial no mundo real. No entanto, as avaliações existentes dependem principalmente de benchmarks de respostas fechadas, enquanto benchmarks de pesquisa profunda de respostas abertas permanecem escassos e geralmente negligenciam cenários personalizados. Para preencher essa lacuna, introduzimos o Personalized Deep Research Bench, o primeiro benchmark para avaliar a personalização em DRAs. Ele combina 50 tarefas de pesquisa diversas em 10 domínios com 25 perfis de usuários autênticos que integram atributos estruturados de persona com contextos dinâmicos do mundo real, resultando em 250 consultas realistas de usuário-tarefa. Para avaliar o desempenho do sistema, propomos o PQR Evaluation Framework, que mede conjuntamente (P) Alinhamento de Personalização, (Q) Qualidade do Conteúdo e (R) Confiabilidade Factual. Nossos experimentos em uma variedade de sistemas destacam as capacidades e limitações atuais no tratamento de pesquisas profundas personalizadas. Este trabalho estabelece uma base rigorosa para o desenvolvimento e avaliação da próxima geração de assistentes de pesquisa em IA verdadeiramente personalizados.

English

Deep Research Agents (DRAs) can autonomously conduct complex investigations and generate comprehensive reports, demonstrating strong real-world potential. However, existing evaluations mostly rely on close-ended benchmarks, while open-ended deep research benchmarks remain scarce and typically neglect personalized scenarios. To bridge this gap, we introduce Personalized Deep Research Bench, the first benchmark for evaluating personalization in DRAs. It pairs 50 diverse research tasks across 10 domains with 25 authentic user profiles that combine structured persona attributes with dynamic real-world contexts, yielding 250 realistic user-task queries. To assess system performance, we propose the PQR Evaluation Framework, which jointly measures (P) Personalization Alignment, (Q) Content Quality, and (R) Factual Reliability. Our experiments on a range of systems highlight current capabilities and limitations in handling personalized deep research. This work establishes a rigorous foundation for developing and evaluating the next generation of truly personalized AI research assistants.