Zoekarena: Analyse van Zoek-versterkte Taalmodellen

Samenvatting

Zoek-versterkte taalmodellen combineren webzoeken met Large Language Models (LLM's) om de onderbouwing en actualiteit van antwoorden te verbeteren. Het analyseren van deze systemen blijft echter een uitdaging: bestaande datasets zijn beperkt in schaal en smal in scope, vaak beperkt tot statische, eenmalige feitencontrole-vragen. In dit werk introduceren we Search Arena, een grootschalige, door crowdsourcing gegenereerde dataset van meer dan 24.000 gepaarde meerzijdige gebruikersinteracties met zoek-versterkte LLM's. De dataset bestrijkt diverse intenties en talen, en bevat volledige systeemtraceringen met ongeveer 12.000 menselijke voorkeursstemmen. Onze analyse toont aan dat gebruikersvoorkeuren worden beïnvloed door het aantal citaties, zelfs wanneer de geciteerde inhoud de toegeschreven claims niet direct ondersteunt, wat een kloof blootlegt tussen waargenomen en feitelijke geloofwaardigheid. Bovendien variëren gebruikersvoorkeuren tussen geciteerde bronnen, wat aantoont dat community-gedreven platforms over het algemeen de voorkeur genieten en statische encyclopedische bronnen niet altijd geschikt en betrouwbaar zijn. Om de prestaties in verschillende omgevingen te beoordelen, voeren we cross-arena-analyses uit door zoek-versterkte LLM's te testen in een algemene chatomgeving en conventionele LLM's in zoekintensieve omgevingen. We constateren dat webzoeken de prestaties in niet-zoekomgevingen niet verslechtert en zelfs kan verbeteren; echter, de kwaliteit in zoekomgevingen wordt aanzienlijk beïnvloed als uitsluitend wordt vertrouwd op het parametrische kennis van het model. We hebben de dataset open-source gemaakt om toekomstig onderzoek in deze richting te ondersteunen. Onze dataset en code zijn beschikbaar op: https://github.com/lmarena/search-arena.

English

Search-augmented language models combine web search with Large Language Models (LLMs) to improve response groundedness and freshness. However, analyzing these systems remains challenging: existing datasets are limited in scale and narrow in scope, often constrained to static, single-turn, fact-checking questions. In this work, we introduce Search Arena, a crowd-sourced, large-scale, human-preference dataset of over 24,000 paired multi-turn user interactions with search-augmented LLMs. The dataset spans diverse intents and languages, and contains full system traces with around 12,000 human preference votes. Our analysis reveals that user preferences are influenced by the number of citations, even when the cited content does not directly support the attributed claims, uncovering a gap between perceived and actual credibility. Furthermore, user preferences vary across cited sources, revealing that community-driven platforms are generally preferred and static encyclopedic sources are not always appropriate and reliable. To assess performance across different settings, we conduct cross-arena analyses by testing search-augmented LLMs in a general-purpose chat environment and conventional LLMs in search-intensive settings. We find that web search does not degrade and may even improve performance in non-search settings; however, the quality in search settings is significantly affected if solely relying on the model's parametric knowledge. We open-sourced the dataset to support future research in this direction. Our dataset and code are available at: https://github.com/lmarena/search-arena.

Zoekarena: Analyse van Zoek-versterkte Taalmodellen

Search Arena: Analyzing Search-Augmented LLMs

Samenvatting

Support