DISCO: Диверсификация конденсации выборок для эффективной оценки моделей
DISCO: Diversifying Sample Condensation for Efficient Model Evaluation
October 9, 2025
Авторы: Alexander Rubinstein, Benjamin Raible, Martin Gubri, Seong Joon Oh
cs.AI
Аннотация
Оценка современных моделей машинного обучения стала чрезмерно дорогостоящей. Бенчмарки, такие как LMMs-Eval и HELM, требуют тысяч часов работы GPU для каждой модели. Высокая стоимость оценки снижает инклюзивность, замедляет цикл инноваций и усугубляет воздействие на окружающую среду. Типичный подход состоит из двух шагов. Сначала выбирается опорное подмножество данных. Затем строится отображение точности на этом подмножестве на итоговый результат тестирования. Недостаток заключается в том, что выбор опорного подмножества зависит от кластеризации, которая может быть сложной и чувствительной к выбору параметров. Мы утверждаем, что повышение разнообразия среди выборок не является необходимым; важно выбирать выборки, которые максимизируют разнообразие в ответах моделей. Наш метод, Diversifying Sample Condensation (DISCO), выбирает топ-k выборок с наибольшими расхождениями в ответах моделей. Это использует жадную, пошаговую статистику вместо глобальной кластеризации. Подход концептуально проще. С теоретической точки зрения, расхождение между моделями предоставляет информационно-теоретически оптимальное правило для такой жадной выборки. DISCO демонстрирует эмпирические преимущества перед предыдущими методами, достигая передовых результатов в прогнозировании производительности на наборах данных MMLU, Hellaswag, Winogrande и ARC. Код доступен здесь: https://github.com/arubique/disco-public.
English
Evaluating modern machine learning models has become prohibitively expensive.
Benchmarks such as LMMs-Eval and HELM demand thousands of GPU hours per model.
Costly evaluation reduces inclusivity, slows the cycle of innovation, and
worsens environmental impact. The typical approach follows two steps. First,
select an anchor subset of data. Second, train a mapping from the accuracy on
this subset to the final test result. The drawback is that anchor selection
depends on clustering, which can be complex and sensitive to design choices. We
argue that promoting diversity among samples is not essential; what matters is
to select samples that maximise diversity in model responses. Our
method, Diversifying Sample Condensation (DISCO), selects the top-k
samples with the greatest model disagreements. This uses greedy, sample-wise
statistics rather than global clustering. The approach is conceptually simpler.
From a theoretical view, inter-model disagreement provides an
information-theoretically optimal rule for such greedy selection.
DISCO shows empirical gains over prior methods, achieving
state-of-the-art results in performance prediction across MMLU, Hellaswag,
Winogrande, and ARC. Code is available here:
https://github.com/arubique/disco-public.