Search Arena: Analisi dei Modelli Linguistici Potenziati con Ricerca

Abstract

I modelli linguistici potenziati dalla ricerca combinano la ricerca web con i Large Language Models (LLM) per migliorare la fondatezza e l'attualità delle risposte. Tuttavia, analizzare questi sistemi rimane una sfida: i dataset esistenti sono limitati in scala e ristretti nell'ambito, spesso vincolati a domande statiche, a turno singolo e di verifica dei fatti. In questo lavoro, introduciamo Search Arena, un dataset su larga scala e crowd-sourced di oltre 24.000 interazioni utente multi-turno accoppiate con LLM potenziati dalla ricerca. Il dataset copre intenti e lingue diverse e contiene tracce complete del sistema con circa 12.000 voti di preferenza umana. La nostra analisi rivela che le preferenze degli utenti sono influenzate dal numero di citazioni, anche quando il contenuto citato non supporta direttamente le affermazioni attribuite, evidenziando un divario tra credibilità percepita e reale. Inoltre, le preferenze degli utenti variano tra le fonti citate, rivelando che le piattaforme guidate dalla comunità sono generalmente preferite e che le fonti enciclopediche statiche non sono sempre appropriate e affidabili. Per valutare le prestazioni in diversi contesti, conduciamo analisi cross-arena testando LLM potenziati dalla ricerca in un ambiente di chat generico e LLM convenzionali in contesti intensivi di ricerca. Scopriamo che la ricerca web non degrada e può persino migliorare le prestazioni in contesti non di ricerca; tuttavia, la qualità in contesti di ricerca è significativamente influenzata se ci si affida esclusivamente alla conoscenza parametrica del modello. Abbiamo reso open-source il dataset per supportare future ricerche in questa direzione. Il nostro dataset e il codice sono disponibili all'indirizzo: https://github.com/lmarena/search-arena.

English

Search-augmented language models combine web search with Large Language Models (LLMs) to improve response groundedness and freshness. However, analyzing these systems remains challenging: existing datasets are limited in scale and narrow in scope, often constrained to static, single-turn, fact-checking questions. In this work, we introduce Search Arena, a crowd-sourced, large-scale, human-preference dataset of over 24,000 paired multi-turn user interactions with search-augmented LLMs. The dataset spans diverse intents and languages, and contains full system traces with around 12,000 human preference votes. Our analysis reveals that user preferences are influenced by the number of citations, even when the cited content does not directly support the attributed claims, uncovering a gap between perceived and actual credibility. Furthermore, user preferences vary across cited sources, revealing that community-driven platforms are generally preferred and static encyclopedic sources are not always appropriate and reliable. To assess performance across different settings, we conduct cross-arena analyses by testing search-augmented LLMs in a general-purpose chat environment and conventional LLMs in search-intensive settings. We find that web search does not degrade and may even improve performance in non-search settings; however, the quality in search settings is significantly affected if solely relying on the model's parametric knowledge. We open-sourced the dataset to support future research in this direction. Our dataset and code are available at: https://github.com/lmarena/search-arena.

Search Arena: Analisi dei Modelli Linguistici Potenziati con Ricerca

Search Arena: Analyzing Search-Augmented LLMs

Abstract

Support