Von den Besten lernen, aber anders: Ein diversitätsgetriebenes Umdenken in der Datenauswahl

Learning from the Best, Differently: A Diversity-Driven Rethinking on Data Selection

October 21, 2025

papers.authors: Hongyi He, Xiao Liu, Zhenghao Lin, Mingni Tang, Yi Cheng, Jintao Wang, Wenjie Li, Peng Cheng, Yeyun Gong

cs.AI

papers.abstract

Hochwertige Vortrainingsdaten sind entscheidend für große Sprachmodelle, wobei Qualität die faktische Zuverlässigkeit und den semantischen Wert erfasst und Diversität eine breite Abdeckung und verteilungsbezogene Heterogenität sicherstellt. Bestehende Ansätze stützen sich typischerweise auf eine ein- oder mehrdimensionale, bewertungsbasierte Auswahl. Die direkte Auswahl der höchstbewerteten Daten führt jedoch oft zu einer Verschlechterung der Leistung, und eine Stichprobenziehung aus einem breiteren Spektrum ist erforderlich, um die Ergebnisse wiederherzustellen. Die oben beschriebene Nicht-Monotonie zwischen den Datensatzbewertungen und den Ergebnissen nachgelagerter Benchmarks offenbart eine grundlegende Verzerrung: Bewertungsbasierte Methoden kollabieren korrelierte Dimensionen, wodurch die höchstbewerteten Daten qualitativ hochwertig erscheinen, während die Diversität systematisch übersehen wird. Wir argumentieren, dass die Sicherstellung von Diversität die Zerlegung korrelierter Metriken in orthogonale Merkmalsdimensionen erfordert, aus denen die höchstbewerteten Daten direkt ausgewählt werden können. Daher haben wir den Orthogonal Diversity-Aware Selection (ODiS)-Algorithmus vorgeschlagen, der sowohl Qualität als auch Diversität während der Datenauswahl bewahrt. Zunächst bewertet ODiS Daten aus mehreren Dimensionen, die Sprachqualität, Wissensqualität und Verständnisschwierigkeit abdecken. Die mehrdimensionalen Bewertungen werden dann durch Hauptkomponentenanalyse (PCA) dekorreliert, wodurch orthogonale Bewertungsdimensionen entstehen. Für jede Dimension wird ein Roberta-basierter Bewerter trainiert, um die Daten auf die PCA-projizierten Bewertungen zu regressieren, was eine skalierbare Inferenz auf großen Korpora ermöglicht. Schließlich konstruiert ODiS den Trainingsdatensatz, indem die höchstbewerteten Daten innerhalb jeder orthogonalen Dimension ausgewählt werden, wodurch sowohl Qualität als auch Diversität sichergestellt werden. Empirische Ergebnisse zeigen, dass die von ODiS ausgewählten Daten weniger als 2 % Überlappung zwischen den Dimensionen aufweisen, was die Orthogonalität zwischen den Dimensionen bestätigt. Noch wichtiger ist, dass Modelle, die mit ODiS-ausgewählten Daten trainiert wurden, andere Baselines auf nachgelagerten Benchmarks deutlich übertreffen, was die Notwendigkeit einer orthogonalen, diversitätsbewussten Datenauswahl für LLMs unterstreicht.

English

High-quality pre-training data is crutial for large language models, where quality captures factual reliability and semantic value, and diversity ensures broad coverage and distributional heterogeneity. Existing approaches typically rely on single or multiple-dimensional score-based selection. However, directly selecting top-scored data often degrades performance, and sampling from a broader range is required to recover results. The above non-monotonicity between dataset scores and downstream benchmark results reveals a fundamental bias: score-based methods collapse correlated dimensions, causing top-scored data to appear high-quality while systematically overlooking diversity. We argue that ensuring diversity requires decomposing correlated metrics into orthogonal feature dimensions, from which the top-scored data can be directly selected. Therefore, we proposed the Orthogonal Diversity-Aware Selection (ODiS) algorithm, which preserves both quality and diversity during data selection. First, ODiS evaluates data from multiple dimensions, covering language quality, knowledge quality, and comprehension difficulty. The multi-dimensional scores are then decorrelated via Principal Component Analysis (PCA), yielding orthogonal evaluation dimensions. For each dimension, a Roberta-based scorer is trained to regress the data onto PCA-projected scores, enabling scalable inference on large corpora. Finally, ODiS constructs the training dataset by selecting top-scored data within each orthogonal dimension, thereby ensuring both quality and diversity. Empirical results show that ODiS-selected data exhibit less than 2\% inter-dimension overlap, confirming orthogonality between dimensions. More importantly, models trained with ODiS-selected data significantly outperform other baselines on downstream benchmarks, highlighting the necessity of orthogonal, diversity-aware data selection for LLMs.