LLM Comparator: 大規模言語モデルの並列評価のための視覚的分析

LLM Comparator: Visual Analytics for Side-by-Side Evaluation of Large Language Models

February 16, 2024

著者: Minsuk Kahng, Ian Tenney, Mahima Pushkarna, Michael Xieyang Liu, James Wexler, Emily Reif, Krystal Kallarackal, Minsuk Chang, Michael Terry, Lucas Dixon

cs.AI

要旨

自動的な並列評価は、大規模言語モデル（LLM）の応答品質を評価するための有望なアプローチとして登場しています。しかし、この評価手法の結果を分析する際には、スケーラビリティと解釈可能性に関する課題が生じます。本論文では、自動並列評価の結果をインタラクティブに分析するための新しいビジュアルアナリティクスツール「LLM Comparator」を紹介します。このツールは、ユーザーがモデルがベースラインモデルよりもいつ、なぜ優れている（または劣っている）のか、また2つのモデルの応答が質的にどのように異なるのかを理解するためのインタラクティブなワークフローをサポートします。私たちは、大規模テクノロジー企業の研究者やエンジニアと密接に協力して、このツールを反復的に設計・開発しました。本論文では、私たちが特定したユーザー課題、ツールの設計と開発、そして定期的にモデルを評価する参加者による観察研究について詳述します。

English

Automatic side-by-side evaluation has emerged as a promising approach to evaluating the quality of responses from large language models (LLMs). However, analyzing the results from this evaluation approach raises scalability and interpretability challenges. In this paper, we present LLM Comparator, a novel visual analytics tool for interactively analyzing results from automatic side-by-side evaluation. The tool supports interactive workflows for users to understand when and why a model performs better or worse than a baseline model, and how the responses from two models are qualitatively different. We iteratively designed and developed the tool by closely working with researchers and engineers at a large technology company. This paper details the user challenges we identified, the design and development of the tool, and an observational study with participants who regularly evaluate their models.