LLM Comparator: Visuelle Analysen für den direkten Vergleich von Large Language Models

LLM Comparator: Visual Analytics for Side-by-Side Evaluation of Large Language Models

February 16, 2024

Autoren: Minsuk Kahng, Ian Tenney, Mahima Pushkarna, Michael Xieyang Liu, James Wexler, Emily Reif, Krystal Kallarackal, Minsuk Chang, Michael Terry, Lucas Dixon

cs.AI

Zusammenfassung

Die automatische Gegenüberstellungsbewertung hat sich als vielversprechender Ansatz zur Bewertung der Qualität von Antworten großer Sprachmodelle (LLMs) etabliert. Die Analyse der Ergebnisse dieses Bewertungsansatzes wirft jedoch Skalierbarkeits- und Interpretierbarkeitsherausforderungen auf. In diesem Artikel stellen wir LLM Comparator vor, ein neuartiges Visual-Analytics-Tool zur interaktiven Analyse von Ergebnissen aus der automatischen Gegenüberstellungsbewertung. Das Tool unterstützt interaktive Workflows, um Nutzern zu helfen, zu verstehen, wann und warum ein Modell besser oder schlechter abschneidet als ein Baseline-Modell und wie sich die Antworten zweier Modelle qualitativ unterscheiden. Wir haben das Tool iterativ entworfen und entwickelt, indem wir eng mit Forschern und Ingenieuren eines großen Technologieunternehmens zusammengearbeitet haben. Dieser Artikel beschreibt die von uns identifizierten Nutzerherausforderungen, die Gestaltung und Entwicklung des Tools sowie eine Beobachtungsstudie mit Teilnehmern, die regelmäßig ihre Modelle evaluieren.

English

Automatic side-by-side evaluation has emerged as a promising approach to evaluating the quality of responses from large language models (LLMs). However, analyzing the results from this evaluation approach raises scalability and interpretability challenges. In this paper, we present LLM Comparator, a novel visual analytics tool for interactively analyzing results from automatic side-by-side evaluation. The tool supports interactive workflows for users to understand when and why a model performs better or worse than a baseline model, and how the responses from two models are qualitatively different. We iteratively designed and developed the tool by closely working with researchers and engineers at a large technology company. This paper details the user challenges we identified, the design and development of the tool, and an observational study with participants who regularly evaluate their models.