DISCO: Diversificação da Condensação de Amostras para Avaliação Eficiente de Modelos
DISCO: Diversifying Sample Condensation for Efficient Model Evaluation
October 9, 2025
Autores: Alexander Rubinstein, Benjamin Raible, Martin Gubri, Seong Joon Oh
cs.AI
Resumo
A avaliação de modelos modernos de aprendizado de máquina tornou-se proibitivamente cara. Benchmarks como LMMs-Eval e HELM exigem milhares de horas de GPU por modelo. A avaliação custosa reduz a inclusividade, desacelera o ciclo de inovação e agrava o impacto ambiental. A abordagem típica segue dois passos. Primeiro, seleciona-se um subconjunto de dados âncora. Segundo, treina-se um mapeamento da precisão nesse subconjunto para o resultado final do teste. A desvantagem é que a seleção do âncora depende de clustering, que pode ser complexo e sensível a escolhas de design. Argumentamos que promover a diversidade entre as amostras não é essencial; o que importa é selecionar amostras que maximizem a diversidade nas respostas dos modelos. Nosso método, Diversifying Sample Condensation (DISCO), seleciona as k amostras com as maiores discordâncias entre os modelos. Isso utiliza estatísticas amostrais gananciosas, em vez de clustering global. A abordagem é conceitualmente mais simples. De uma perspectiva teórica, a discordância entre modelos fornece uma regra ótima em termos de teoria da informação para essa seleção gananciosa. O DISCO demonstra ganhos empíricos em relação a métodos anteriores, alcançando resultados de ponta na previsão de desempenho em MMLU, Hellaswag, Winogrande e ARC. O código está disponível aqui: https://github.com/arubique/disco-public.
English
Evaluating modern machine learning models has become prohibitively expensive.
Benchmarks such as LMMs-Eval and HELM demand thousands of GPU hours per model.
Costly evaluation reduces inclusivity, slows the cycle of innovation, and
worsens environmental impact. The typical approach follows two steps. First,
select an anchor subset of data. Second, train a mapping from the accuracy on
this subset to the final test result. The drawback is that anchor selection
depends on clustering, which can be complex and sensitive to design choices. We
argue that promoting diversity among samples is not essential; what matters is
to select samples that maximise diversity in model responses. Our
method, Diversifying Sample Condensation (DISCO), selects the top-k
samples with the greatest model disagreements. This uses greedy, sample-wise
statistics rather than global clustering. The approach is conceptually simpler.
From a theoretical view, inter-model disagreement provides an
information-theoretically optimal rule for such greedy selection.
DISCO shows empirical gains over prior methods, achieving
state-of-the-art results in performance prediction across MMLU, Hellaswag,
Winogrande, and ARC. Code is available here:
https://github.com/arubique/disco-public.