CLEAR: Анализ ошибок с использованием LLM в роли судьи, упрощённый подход

CLEAR: Error Analysis via LLM-as-a-Judge Made Easy

July 24, 2025

Авторы: Asaf Yehudai, Lilach Eden, Yotam Perlitz, Roy Bar-Haim, Michal Shmueli-Scheuer

cs.AI

Аннотация

Оценка крупных языковых моделей (LLM) всё чаще опирается на использование других LLM в качестве судей. Однако современные парадигмы оценки обычно сводятся к получению единого балла или ранжирования, отвечая на вопрос, какая модель лучше, но не объясняя, почему. Хотя такие общие показатели важны для бенчмаркинга, они скрывают конкретные, практические причины, лежащие в основе производительности модели. Чтобы устранить этот пробел, мы представляем CLEAR — интерактивный, открытый пакет для анализа ошибок на основе LLM. CLEAR сначала генерирует текстовую обратную связь для каждого отдельного примера, затем создаёт набор системных ошибок и количественно оценивает распространённость каждой выявленной проблемы. Наш пакет также предоставляет пользователям интерактивную панель, которая позволяет проводить всесторонний анализ ошибок через агрегированные визуализации, применять интерактивные фильтры для изоляции конкретных проблем или диапазонов оценок и углубляться в отдельные примеры, иллюстрирующие определённые поведенческие паттерны. Мы демонстрируем анализ с помощью CLEAR на примере бенчмарков RAG и Math, а также показываем его полезность через кейс-стади с участием пользователей.

English

The evaluation of Large Language Models (LLMs) increasingly relies on other LLMs acting as judges. However, current evaluation paradigms typically yield a single score or ranking, answering which model is better but not why. While essential for benchmarking, these top-level scores obscure the specific, actionable reasons behind a model's performance. To bridge this gap, we introduce CLEAR, an interactive, open-source package for LLM-based error analysis. CLEAR first generates per-instance textual feedback, then it creates a set of system-level error issues, and quantifies the prevalence of each identified issue. Our package also provides users with an interactive dashboard that allows for a comprehensive error analysis through aggregate visualizations, applies interactive filters to isolate specific issues or score ranges, and drills down to the individual instances that exemplify a particular behavioral pattern. We demonstrate CLEAR analysis for RAG and Math benchmarks, and showcase its utility through a user case study.