LLM Comparator: Analisi Visuale per la Valutazione Comparativa di Modelli Linguistici di Grandi Dimensioni

LLM Comparator: Visual Analytics for Side-by-Side Evaluation of Large Language Models

February 16, 2024

Autori: Minsuk Kahng, Ian Tenney, Mahima Pushkarna, Michael Xieyang Liu, James Wexler, Emily Reif, Krystal Kallarackal, Minsuk Chang, Michael Terry, Lucas Dixon

cs.AI

Abstract

La valutazione automatica affiancata è emersa come un approccio promettente per valutare la qualità delle risposte dei grandi modelli linguistici (LLM). Tuttavia, l'analisi dei risultati derivanti da questo metodo di valutazione solleva sfide di scalabilità e interpretabilità. In questo articolo, presentiamo LLM Comparator, uno strumento innovativo di analisi visiva per analizzare in modo interattivo i risultati della valutazione automatica affiancata. Lo strumento supporta flussi di lavoro interattivi che consentono agli utenti di comprendere quando e perché un modello performa meglio o peggio rispetto a un modello di riferimento, e in che modo le risposte di due modelli differiscono qualitativamente. Abbiamo progettato e sviluppato lo strumento in modo iterativo, collaborando strettamente con ricercatori e ingegneri di una grande azienda tecnologica. Questo articolo descrive nel dettaglio le sfide degli utenti che abbiamo identificato, la progettazione e lo sviluppo dello strumento, e uno studio osservativo condotto con partecipanti che valutano regolarmente i loro modelli.

English

Automatic side-by-side evaluation has emerged as a promising approach to evaluating the quality of responses from large language models (LLMs). However, analyzing the results from this evaluation approach raises scalability and interpretability challenges. In this paper, we present LLM Comparator, a novel visual analytics tool for interactively analyzing results from automatic side-by-side evaluation. The tool supports interactive workflows for users to understand when and why a model performs better or worse than a baseline model, and how the responses from two models are qualitatively different. We iteratively designed and developed the tool by closely working with researchers and engineers at a large technology company. This paper details the user challenges we identified, the design and development of the tool, and an observational study with participants who regularly evaluate their models.