LLM Comparator : Analyse Visuelle pour l'Évaluation Comparative des Modèles de Langage à Grande Échelle

LLM Comparator: Visual Analytics for Side-by-Side Evaluation of Large Language Models

February 16, 2024

Auteurs: Minsuk Kahng, Ian Tenney, Mahima Pushkarna, Michael Xieyang Liu, James Wexler, Emily Reif, Krystal Kallarackal, Minsuk Chang, Michael Terry, Lucas Dixon

cs.AI

Résumé

L'évaluation automatique côte à côte s'est imposée comme une approche prometteuse pour évaluer la qualité des réponses des grands modèles de langage (LLM). Cependant, l'analyse des résultats issus de cette méthode soulève des défis en termes d'évolutivité et d'interprétabilité. Dans cet article, nous présentons LLM Comparator, un nouvel outil d'analyse visuelle permettant d'analyser de manière interactive les résultats de l'évaluation automatique côte à côte. Cet outil prend en charge des workflows interactifs pour aider les utilisateurs à comprendre quand et pourquoi un modèle performe mieux ou moins bien qu'un modèle de référence, ainsi que les différences qualitatives entre les réponses de deux modèles. Nous avons conçu et développé cet outil de manière itérative en collaborant étroitement avec des chercheurs et des ingénieurs d'une grande entreprise technologique. Cet article détaille les défis utilisateurs que nous avons identifiés, la conception et le développement de l'outil, ainsi qu'une étude observationnelle menée auprès de participants évaluant régulièrement leurs modèles.

English

Automatic side-by-side evaluation has emerged as a promising approach to evaluating the quality of responses from large language models (LLMs). However, analyzing the results from this evaluation approach raises scalability and interpretability challenges. In this paper, we present LLM Comparator, a novel visual analytics tool for interactively analyzing results from automatic side-by-side evaluation. The tool supports interactive workflows for users to understand when and why a model performs better or worse than a baseline model, and how the responses from two models are qualitatively different. We iteratively designed and developed the tool by closely working with researchers and engineers at a large technology company. This paper details the user challenges we identified, the design and development of the tool, and an observational study with participants who regularly evaluate their models.