Arena de Busca: Analisando Modelos de Linguagem Aumentados por Busca

Resumo

Modelos de linguagem aumentados por busca combinam pesquisa na web com Modelos de Linguagem de Grande Escala (LLMs) para melhorar a fundamentação e atualidade das respostas. No entanto, analisar esses sistemas permanece desafiador: os conjuntos de dados existentes são limitados em escala e restritos em escopo, frequentemente focados em perguntas estáticas, de turno único e de verificação de fatos. Neste trabalho, apresentamos o Search Arena, um conjunto de dados de preferências humanas em larga escala e colaborativo, contendo mais de 24.000 interações multi-turno de usuários com LLMs aumentados por busca. O conjunto de dados abrange diversas intenções e idiomas, e inclui rastreamentos completos do sistema com aproximadamente 12.000 votos de preferência humana. Nossa análise revela que as preferências dos usuários são influenciadas pelo número de citações, mesmo quando o conteúdo citado não apoia diretamente as afirmações atribuídas, expondo uma lacuna entre credibilidade percebida e real. Além disso, as preferências dos usuários variam entre as fontes citadas, mostrando que plataformas comunitárias são geralmente preferidas, enquanto fontes enciclopédicas estáticas nem sempre são apropriadas e confiáveis. Para avaliar o desempenho em diferentes cenários, realizamos análises cruzadas testando LLMs aumentados por busca em um ambiente de chat de propósito geral e LLMs convencionais em cenários intensivos em busca. Descobrimos que a pesquisa na web não degrada e pode até melhorar o desempenho em cenários não relacionados à busca; no entanto, a qualidade em cenários de busca é significativamente afetada se houver dependência exclusiva do conhecimento paramétrico do modelo. Disponibilizamos o conjunto de dados como código aberto para apoiar pesquisas futuras nessa direção. Nosso conjunto de dados e código estão disponíveis em: https://github.com/lmarena/search-arena.

English

Search-augmented language models combine web search with Large Language Models (LLMs) to improve response groundedness and freshness. However, analyzing these systems remains challenging: existing datasets are limited in scale and narrow in scope, often constrained to static, single-turn, fact-checking questions. In this work, we introduce Search Arena, a crowd-sourced, large-scale, human-preference dataset of over 24,000 paired multi-turn user interactions with search-augmented LLMs. The dataset spans diverse intents and languages, and contains full system traces with around 12,000 human preference votes. Our analysis reveals that user preferences are influenced by the number of citations, even when the cited content does not directly support the attributed claims, uncovering a gap between perceived and actual credibility. Furthermore, user preferences vary across cited sources, revealing that community-driven platforms are generally preferred and static encyclopedic sources are not always appropriate and reliable. To assess performance across different settings, we conduct cross-arena analyses by testing search-augmented LLMs in a general-purpose chat environment and conventional LLMs in search-intensive settings. We find that web search does not degrade and may even improve performance in non-search settings; however, the quality in search settings is significantly affected if solely relying on the model's parametric knowledge. We open-sourced the dataset to support future research in this direction. Our dataset and code are available at: https://github.com/lmarena/search-arena.

Arena de Busca: Analisando Modelos de Linguagem Aumentados por Busca

Search Arena: Analyzing Search-Augmented LLMs

Resumo

Support