Arène de Recherche : Analyse des LLM Augmentés par la Recherche

Résumé

Les modèles de langage augmentés par la recherche combinent la recherche web avec les grands modèles de langage (LLMs) pour améliorer l'ancrage et l'actualité des réponses. Cependant, l'analyse de ces systèmes reste complexe : les ensembles de données existants sont limités en échelle et étroits en portée, souvent contraints à des questions statiques, en un seul tour, de vérification des faits. Dans ce travail, nous présentons Search Arena, un ensemble de données à grande échelle et crowdsourcé de préférences humaines, comprenant plus de 24 000 interactions utilisateur multi-tours jumelées avec des LLMs augmentés par la recherche. L'ensemble de données couvre des intentions et des langues diverses, et contient des traces complètes du système avec environ 12 000 votes de préférence humaine. Notre analyse révèle que les préférences des utilisateurs sont influencées par le nombre de citations, même lorsque le contenu cité ne soutient pas directement les affirmations attribuées, mettant en lumière un écart entre la crédibilité perçue et réelle. De plus, les préférences des utilisateurs varient selon les sources citées, montrant que les plateformes communautaires sont généralement préférées et que les sources encyclopédiques statiques ne sont pas toujours appropriées et fiables. Pour évaluer les performances dans différents contextes, nous menons des analyses croisées en testant les LLMs augmentés par la recherche dans un environnement de chat généraliste et les LLMs conventionnels dans des contextes intensifs en recherche. Nous constatons que la recherche web ne dégrade pas et peut même améliorer les performances dans des contextes non liés à la recherche ; cependant, la qualité dans les contextes de recherche est significativement affectée si l'on s'appuie uniquement sur les connaissances paramétriques du modèle. Nous avons ouvert l'ensemble de données pour soutenir les recherches futures dans cette direction. Notre ensemble de données et notre code sont disponibles à l'adresse : https://github.com/lmarena/search-arena.

English

Search-augmented language models combine web search with Large Language Models (LLMs) to improve response groundedness and freshness. However, analyzing these systems remains challenging: existing datasets are limited in scale and narrow in scope, often constrained to static, single-turn, fact-checking questions. In this work, we introduce Search Arena, a crowd-sourced, large-scale, human-preference dataset of over 24,000 paired multi-turn user interactions with search-augmented LLMs. The dataset spans diverse intents and languages, and contains full system traces with around 12,000 human preference votes. Our analysis reveals that user preferences are influenced by the number of citations, even when the cited content does not directly support the attributed claims, uncovering a gap between perceived and actual credibility. Furthermore, user preferences vary across cited sources, revealing that community-driven platforms are generally preferred and static encyclopedic sources are not always appropriate and reliable. To assess performance across different settings, we conduct cross-arena analyses by testing search-augmented LLMs in a general-purpose chat environment and conventional LLMs in search-intensive settings. We find that web search does not degrade and may even improve performance in non-search settings; however, the quality in search settings is significantly affected if solely relying on the model's parametric knowledge. We open-sourced the dataset to support future research in this direction. Our dataset and code are available at: https://github.com/lmarena/search-arena.

Arène de Recherche : Analyse des LLM Augmentés par la Recherche

Search Arena: Analyzing Search-Augmented LLMs

Résumé

Support