DISCO: Diversificazione della Condensazione dei Campioni per una Valutazione Efficiente dei Modelli

DISCO: Diversifying Sample Condensation for Efficient Model Evaluation

October 9, 2025

Autori: Alexander Rubinstein, Benjamin Raible, Martin Gubri, Seong Joon Oh

cs.AI

Abstract

Valutare i moderni modelli di machine learning è diventato proibitivamente costoso. Benchmark come LMMs-Eval e HELM richiedono migliaia di ore di GPU per modello. Una valutazione costosa riduce l'inclusività, rallenta il ciclo dell'innovazione e peggiora l'impatto ambientale. L'approccio tipico segue due passaggi. Primo, selezionare un sottoinsieme di dati di ancoraggio. Secondo, addestrare una mappatura dall'accuratezza su questo sottoinsieme al risultato finale del test. Lo svantaggio è che la selezione dell'ancoraggio dipende dal clustering, che può essere complesso e sensibile alle scelte progettuali. Sosteniamo che promuovere la diversità tra i campioni non sia essenziale; ciò che conta è selezionare campioni che massimizzino la diversità nelle risposte del modello. Il nostro metodo, Diversifying Sample Condensation (DISCO), seleziona i top-k campioni con il maggior disaccordo tra i modelli. Questo utilizza statistiche campionarie greedy piuttosto che clustering globale. L'approccio è concettualmente più semplice. Da un punto di vista teorico, il disaccordo inter-modello fornisce una regola ottimale in termini di teoria dell'informazione per tale selezione greedy. DISCO mostra guadagni empirici rispetto ai metodi precedenti, raggiungendo risultati all'avanguardia nella previsione delle prestazioni su MMLU, Hellaswag, Winogrande e ARC. Il codice è disponibile qui: https://github.com/arubique/disco-public.

English

Evaluating modern machine learning models has become prohibitively expensive. Benchmarks such as LMMs-Eval and HELM demand thousands of GPU hours per model. Costly evaluation reduces inclusivity, slows the cycle of innovation, and worsens environmental impact. The typical approach follows two steps. First, select an anchor subset of data. Second, train a mapping from the accuracy on this subset to the final test result. The drawback is that anchor selection depends on clustering, which can be complex and sensitive to design choices. We argue that promoting diversity among samples is not essential; what matters is to select samples that maximise diversity in model responses. Our method, Diversifying Sample Condensation (DISCO), selects the top-k samples with the greatest model disagreements. This uses greedy, sample-wise statistics rather than global clustering. The approach is conceptually simpler. From a theoretical view, inter-model disagreement provides an information-theoretically optimal rule for such greedy selection. DISCO shows empirical gains over prior methods, achieving state-of-the-art results in performance prediction across MMLU, Hellaswag, Winogrande, and ARC. Code is available here: https://github.com/arubique/disco-public.