Search Arena: Analyse von suchverstärkten LLMs

Zusammenfassung

Suchverstärkte Sprachmodelle kombinieren Websuche mit großen Sprachmodellen (LLMs), um die Fundiertheit und Aktualität von Antworten zu verbessern. Die Analyse dieser Systeme bleibt jedoch herausfordernd: bestehende Datensätze sind in ihrem Umfang begrenzt und in ihrer Reichweite eng gefasst, oft beschränkt auf statische, einstufige Faktenprüfungsfragen. In dieser Arbeit stellen wir Search Arena vor, einen crowdsourcierten, groß angelegten Datensatz mit über 24.000 gepaarten mehrstufigen Benutzerinteraktionen mit suchverstärkten LLMs, der menschliche Präferenzen abbildet. Der Datensatz umfasst diverse Intentionen und Sprachen und enthält vollständige Systemabläufe mit etwa 12.000 menschlichen Präferenzabstimmungen. Unsere Analyse zeigt, dass Benutzerpräferenzen durch die Anzahl der Zitate beeinflusst werden, selbst wenn die zitierten Inhalte die zugeschriebenen Behauptungen nicht direkt unterstützen, was eine Lücke zwischen wahrgenommener und tatsächlicher Glaubwürdigkeit aufdeckt. Darüber hinaus variieren Benutzerpräferenzen je nach zitierten Quellen, wobei sich zeigt, dass community-gesteuerte Plattformen generell bevorzugt werden und statische enzyklopädische Quellen nicht immer angemessen und zuverlässig sind. Um die Leistung in verschiedenen Kontexten zu bewerten, führen wir Cross-Arena-Analysen durch, indem wir suchverstärkte LLMs in einer allgemeinen Chat-Umgebung und konventionelle LLMs in suchintensiven Settings testen. Wir stellen fest, dass Websuche die Leistung in nicht-suchbezogenen Kontexten nicht beeinträchtigt und sie sogar verbessern kann; jedoch wird die Qualität in suchbezogenen Kontexten erheblich beeinflusst, wenn ausschließlich auf das parametrische Wissen des Modells vertraut wird. Wir haben den Datensatz open-source bereitgestellt, um zukünftige Forschung in dieser Richtung zu unterstützen. Unser Datensatz und Code sind verfügbar unter: https://github.com/lmarena/search-arena.

English

Search-augmented language models combine web search with Large Language Models (LLMs) to improve response groundedness and freshness. However, analyzing these systems remains challenging: existing datasets are limited in scale and narrow in scope, often constrained to static, single-turn, fact-checking questions. In this work, we introduce Search Arena, a crowd-sourced, large-scale, human-preference dataset of over 24,000 paired multi-turn user interactions with search-augmented LLMs. The dataset spans diverse intents and languages, and contains full system traces with around 12,000 human preference votes. Our analysis reveals that user preferences are influenced by the number of citations, even when the cited content does not directly support the attributed claims, uncovering a gap between perceived and actual credibility. Furthermore, user preferences vary across cited sources, revealing that community-driven platforms are generally preferred and static encyclopedic sources are not always appropriate and reliable. To assess performance across different settings, we conduct cross-arena analyses by testing search-augmented LLMs in a general-purpose chat environment and conventional LLMs in search-intensive settings. We find that web search does not degrade and may even improve performance in non-search settings; however, the quality in search settings is significantly affected if solely relying on the model's parametric knowledge. We open-sourced the dataset to support future research in this direction. Our dataset and code are available at: https://github.com/lmarena/search-arena.

Search Arena: Analyse von suchverstärkten LLMs

Search Arena: Analyzing Search-Augmented LLMs

Zusammenfassung

Support