BESPOKE: Benchmark voor gepersonaliseerde zoekondersteunde grote taalmodellen via diagnostische feedback

BESPOKE: Benchmark for Search-Augmented Large Language Model Personalization via Diagnostic Feedback

September 25, 2025

Auteurs: Hyunseo Kim, Sangam Lee, Kwangwook Seo, Dongha Lee

cs.AI

Samenvatting

Zoekondersteunde grote taalmodellen (LLMs) hebben informatiezoektaken verbeterd door het integreren van retrieval in generatie, waardoor de cognitieve belasting van gebruikers wordt verminderd in vergelijking met traditionele zoeksystemen. Toch zijn ze nog steeds ontoereikend om volledig tegemoet te komen aan de diverse behoeften van gebruikers, wat vereist dat wordt herkend hoe dezelfde zoekopdracht verschillende intenties kan weerspiegelen bij verschillende gebruikers en dat informatie wordt aangeboden in de voorkeursvormen van gebruikers. Hoewel recente systemen zoals ChatGPT en Gemini personalisatie proberen te bereiken door gebruik te maken van gebruikersgeschiedenissen, is systematische evaluatie van dergelijke personalisatie nog onderbelicht. Om deze leemte aan te pakken, stellen we BESPOKE voor, de realistische benchmark voor het evalueren van personalisatie in zoekondersteunde LLMs. BESPOKE is ontworpen om zowel realistisch te zijn, door authentieke chat- en zoekgeschiedenissen rechtstreeks van mensen te verzamelen, als diagnostisch, door reacties te koppelen aan gedetailleerde voorkeursscores en feedback. De benchmark is opgebouwd door langdurige, diepgaande menselijke annotatie, waarbij menselijke annotatoren hun eigen geschiedenissen hebben bijgedragen, zoekopdrachten hebben opgesteld met gedetailleerde informatiebehoeften, en reacties hebben geëvalueerd met scores en diagnostische feedback. Door gebruik te maken van BESPOKE, voeren we systematische analyses uit die belangrijke vereisten voor effectieve personalisatie in informatiezoektaken onthullen, en bieden we een basis voor gedetailleerde evaluatie van gepersonaliseerde zoekondersteunde LLMs. Onze code en gegevens zijn beschikbaar op https://augustinlib.github.io/BESPOKE/.

English

Search-augmented large language models (LLMs) have advanced information-seeking tasks by integrating retrieval into generation, reducing users' cognitive burden compared to traditional search systems. Yet they remain insufficient for fully addressing diverse user needs, which requires recognizing how the same query can reflect different intents across users and delivering information in preferred forms. While recent systems such as ChatGPT and Gemini attempt personalization by leveraging user histories, systematic evaluation of such personalization is under-explored. To address this gap, we propose BESPOKE, the realistic benchmark for evaluating personalization in search-augmented LLMs. BESPOKE is designed to be both realistic, by collecting authentic chat and search histories directly from humans, and diagnostic, by pairing responses with fine-grained preference scores and feedback. The benchmark is constructed through long-term, deeply engaged human annotation, where human annotators contributed their own histories, authored queries with detailed information needs, and evaluated responses with scores and diagnostic feedback. Leveraging BESPOKE, we conduct systematic analyses that reveal key requirements for effective personalization in information-seeking tasks, providing a foundation for fine-grained evaluation of personalized search-augmented LLMs. Our code and data are available at https://augustinlib.github.io/BESPOKE/.