Imparare dai Migliori, in Modo Diverso: Una Rivalutazione Guidata dalla Diversità sulla Selezione dei Dati

Learning from the Best, Differently: A Diversity-Driven Rethinking on Data Selection

October 21, 2025

Autori: Hongyi He, Xiao Liu, Zhenghao Lin, Mingni Tang, Yi Cheng, Jintao Wang, Wenjie Li, Peng Cheng, Yeyun Gong

cs.AI

Abstract

Dati di pre-addestramento di alta qualità sono cruciali per i modelli linguistici di grandi dimensioni, dove la qualità cattura l'affidabilità fattuale e il valore semantico, mentre la diversità garantisce una copertura ampia e un'eterogeneità distributiva. Gli approcci esistenti si basano tipicamente su una selezione basata su punteggi mono o multi-dimensionali. Tuttavia, selezionare direttamente i dati con i punteggi più alti spesso degrada le prestazioni, ed è necessario campionare da un intervallo più ampio per recuperare i risultati. La suddetta non monotonicità tra i punteggi del dataset e i risultati dei benchmark downstream rivela un bias fondamentale: i metodi basati su punteggi collassano le dimensioni correlate, facendo apparire i dati con punteggi più alti come di alta qualità mentre trascurano sistematicamente la diversità. Sosteniamo che garantire la diversità richiede di scomporre le metriche correlate in dimensioni di caratteristiche ortogonali, dalle quali i dati con i punteggi più alti possono essere selezionati direttamente. Pertanto, abbiamo proposto l'algoritmo di selezione Orthogonal Diversity-Aware Selection (ODiS), che preserva sia la qualità che la diversità durante la selezione dei dati. In primo luogo, ODiS valuta i dati da più dimensioni, coprendo la qualità linguistica, la qualità della conoscenza e la difficoltà di comprensione. I punteggi multi-dimensionali vengono poi decorrelati tramite l'analisi delle componenti principali (PCA), ottenendo dimensioni di valutazione ortogonali. Per ciascuna dimensione, un valutatore basato su Roberta viene addestrato per regredire i dati sui punteggi proiettati dalla PCA, consentendo un'inferenza scalabile su grandi corpora. Infine, ODiS costruisce il dataset di addestramento selezionando i dati con i punteggi più alti all'interno di ciascuna dimensione ortogonale, garantendo così sia la qualità che la diversità. I risultati empirici mostrano che i dati selezionati da ODiS presentano meno del 2% di sovrapposizione inter-dimensionale, confermando l'ortogonalità tra le dimensioni. Ancora più importante, i modelli addestrati con i dati selezionati da ODiS superano significativamente altri baseline sui benchmark downstream, evidenziando la necessità di una selezione dei dati ortogonale e consapevole della diversità per i modelli linguistici di grandi dimensioni.

English

High-quality pre-training data is crutial for large language models, where quality captures factual reliability and semantic value, and diversity ensures broad coverage and distributional heterogeneity. Existing approaches typically rely on single or multiple-dimensional score-based selection. However, directly selecting top-scored data often degrades performance, and sampling from a broader range is required to recover results. The above non-monotonicity between dataset scores and downstream benchmark results reveals a fundamental bias: score-based methods collapse correlated dimensions, causing top-scored data to appear high-quality while systematically overlooking diversity. We argue that ensuring diversity requires decomposing correlated metrics into orthogonal feature dimensions, from which the top-scored data can be directly selected. Therefore, we proposed the Orthogonal Diversity-Aware Selection (ODiS) algorithm, which preserves both quality and diversity during data selection. First, ODiS evaluates data from multiple dimensions, covering language quality, knowledge quality, and comprehension difficulty. The multi-dimensional scores are then decorrelated via Principal Component Analysis (PCA), yielding orthogonal evaluation dimensions. For each dimension, a Roberta-based scorer is trained to regress the data onto PCA-projected scores, enabling scalable inference on large corpora. Finally, ODiS constructs the training dataset by selecting top-scored data within each orthogonal dimension, thereby ensuring both quality and diversity. Empirical results show that ODiS-selected data exhibit less than 2\% inter-dimension overlap, confirming orthogonality between dimensions. More importantly, models trained with ODiS-selected data significantly outperform other baselines on downstream benchmarks, highlighting the necessity of orthogonal, diversity-aware data selection for LLMs.