LLM Comparator: Визуальная аналитика для параллельного сравнения крупных языковых моделей

LLM Comparator: Visual Analytics for Side-by-Side Evaluation of Large Language Models

February 16, 2024

Авторы: Minsuk Kahng, Ian Tenney, Mahima Pushkarna, Michael Xieyang Liu, James Wexler, Emily Reif, Krystal Kallarackal, Minsuk Chang, Michael Terry, Lucas Dixon

cs.AI

Аннотация

Автоматическая сравнительная оценка стала перспективным подходом для анализа качества ответов крупных языковых моделей (LLM). Однако анализ результатов, полученных с помощью этого метода, ставит задачи масштабируемости и интерпретируемости. В данной статье мы представляем LLM Comparator — новый инструмент визуальной аналитики для интерактивного анализа результатов автоматической сравнительной оценки. Этот инструмент поддерживает интерактивные рабочие процессы, позволяя пользователям понять, когда и почему одна модель работает лучше или хуже базовой модели, а также в чем заключаются качественные различия между ответами двух моделей. Мы разработали и развивали инструмент итеративно, тесно сотрудничая с исследователями и инженерами крупной технологической компании. В статье подробно описаны выявленные проблемы пользователей, процесс проектирования и разработки инструмента, а также проведенное наблюдательное исследование с участием специалистов, регулярно оценивающих свои модели.

English

Automatic side-by-side evaluation has emerged as a promising approach to evaluating the quality of responses from large language models (LLMs). However, analyzing the results from this evaluation approach raises scalability and interpretability challenges. In this paper, we present LLM Comparator, a novel visual analytics tool for interactively analyzing results from automatic side-by-side evaluation. The tool supports interactive workflows for users to understand when and why a model performs better or worse than a baseline model, and how the responses from two models are qualitatively different. We iteratively designed and developed the tool by closely working with researchers and engineers at a large technology company. This paper details the user challenges we identified, the design and development of the tool, and an observational study with participants who regularly evaluate their models.