Comparador de LLM: Análisis Visual para la Evaluación Comparativa de Modelos de Lenguaje de Gran Escala

LLM Comparator: Visual Analytics for Side-by-Side Evaluation of Large Language Models

February 16, 2024

Autores: Minsuk Kahng, Ian Tenney, Mahima Pushkarna, Michael Xieyang Liu, James Wexler, Emily Reif, Krystal Kallarackal, Minsuk Chang, Michael Terry, Lucas Dixon

cs.AI

Resumen

La evaluación automática comparativa ha surgido como un enfoque prometedor para evaluar la calidad de las respuestas de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés). Sin embargo, analizar los resultados de este método de evaluación plantea desafíos de escalabilidad e interpretabilidad. En este artículo, presentamos LLM Comparator, una novedosa herramienta de análisis visual para examinar de manera interactiva los resultados de la evaluación automática comparativa. La herramienta facilita flujos de trabajo interactivos que permiten a los usuarios comprender cuándo y por qué un modelo tiene un rendimiento mejor o peor que un modelo de referencia, y en qué se diferencian cualitativamente las respuestas de dos modelos. Diseñamos y desarrollamos la herramienta de manera iterativa en estrecha colaboración con investigadores e ingenieros de una gran empresa tecnológica. Este artículo detalla los desafíos de los usuarios que identificamos, el diseño y desarrollo de la herramienta, y un estudio observacional con participantes que evalúan regularmente sus modelos.

English

Automatic side-by-side evaluation has emerged as a promising approach to evaluating the quality of responses from large language models (LLMs). However, analyzing the results from this evaluation approach raises scalability and interpretability challenges. In this paper, we present LLM Comparator, a novel visual analytics tool for interactively analyzing results from automatic side-by-side evaluation. The tool supports interactive workflows for users to understand when and why a model performs better or worse than a baseline model, and how the responses from two models are qualitatively different. We iteratively designed and developed the tool by closely working with researchers and engineers at a large technology company. This paper details the user challenges we identified, the design and development of the tool, and an observational study with participants who regularly evaluate their models.