LLM Comparator: Análise Visual para Avaliação Comparativa de Modelos de Linguagem de Grande Escala

LLM Comparator: Visual Analytics for Side-by-Side Evaluation of Large Language Models

February 16, 2024

Autores: Minsuk Kahng, Ian Tenney, Mahima Pushkarna, Michael Xieyang Liu, James Wexler, Emily Reif, Krystal Kallarackal, Minsuk Chang, Michael Terry, Lucas Dixon

cs.AI

Resumo

A avaliação automática lado a lado surgiu como uma abordagem promissora para avaliar a qualidade das respostas de modelos de linguagem de grande escala (LLMs). No entanto, a análise dos resultados dessa abordagem de avaliação apresenta desafios de escalabilidade e interpretabilidade. Neste artigo, apresentamos o LLM Comparator, uma nova ferramenta de análise visual para analisar interativamente os resultados da avaliação automática lado a lado. A ferramenta suporta fluxos de trabalho interativos que permitem aos usuários entender quando e por que um modelo tem desempenho melhor ou pior do que um modelo de referência, e como as respostas de dois modelos são qualitativamente diferentes. Projetamos e desenvolvemos a ferramenta de forma iterativa, trabalhando em estreita colaboração com pesquisadores e engenheiros de uma grande empresa de tecnologia. Este artigo detalha os desafios dos usuários que identificamos, o design e o desenvolvimento da ferramenta, e um estudo observacional com participantes que avaliam regularmente seus modelos.

English

Automatic side-by-side evaluation has emerged as a promising approach to evaluating the quality of responses from large language models (LLMs). However, analyzing the results from this evaluation approach raises scalability and interpretability challenges. In this paper, we present LLM Comparator, a novel visual analytics tool for interactively analyzing results from automatic side-by-side evaluation. The tool supports interactive workflows for users to understand when and why a model performs better or worse than a baseline model, and how the responses from two models are qualitatively different. We iteratively designed and developed the tool by closely working with researchers and engineers at a large technology company. This paper details the user challenges we identified, the design and development of the tool, and an observational study with participants who regularly evaluate their models.