DataPrep-Bench: 大規模言語モデルを訓練データ準備者として評価するベンチマーク

要旨

学習データの品質は、大規模言語モデル（LLM）の能力を根本的に決定する。しかしながら、LLM、エージェント、データ中心のワークフローが実際に学習データをエンドツーエンドでどの程度準備しているかを測定する統一されたベンチマークは存在しない。我々は、LLM主導のデータ準備は、互いに補完する二つの能力から構成されると考える。すなわち、生のソースを教師あり学習データに変換するデータ構築と、下流の学習前に候補データセットの学習価値を予測するデータ品質評価である。本稿を通じて「品質」とは、表面的なテキスト特性ではなく、下流の学習における有用性を指す。我々は、六つのドメインと複数のベースモデルにわたって、共通の下流タスクに基づくプロトコルの下で両方の能力を統合的に評価する初めての統一ベンチマークであるDataPrep-Benchを紹介する。データ構築については、各手法は同一の生ソースを入力として消費し、その出力を用いてDolly-15kと共にベースモデルをファインチューニングした結果に基づいてスコア付けされる。このトラックに加えて、我々はData-Construction-Skillを公開する。これはスキル誘導型エージェントであり、Llama-3.1-8B FinanceにおいてDollyのみのベースラインを絶対値で約20ポイント上回り、知識抽出密度の高いドメインでは最強のエージェントベースおよびDataFlowベースの手法と同等の性能を示す。データ品質評価については、各スコアリング関数は共通の候補プールにおける下流性能とのピアソン相関によって評価される。我々は、候補データセットとドメインプロキシ間のMMD（最大平均誤差）を用いる分布ベースの評価指標であるDistributional Alignment Score（DAS）を公開する。DASは六つのドメインのうち四つで最も強いクロスモデル相関を達成し、数学、科学、医療において同時にr>0.70を超える唯一の指標であり、既存の品質ベース、多様性ベース、ヒューリスティックベースの評価指標を上回る。 DataPrep-Benchは、LLM主導のデータ準備における同等に重要な目標として、両方の能力に関する進捗を測定するための統一された下流タスクに基づくフレームワークを提供する。

English

The quality of training data fundamentally determines the capabilities of large language models (LLMs), yet no unified benchmark exists to measure how well LLMs, agents, and data-centric workflows actually prepare training data end to end. We view LLM-driven data preparation as comprising two complementary capabilities: data construction, which transforms raw sources into supervised training data, and data quality evaluation, which predicts the training value of candidate datasets before downstream training; throughout, "quality" refers to downstream training utility rather than surface-level textual properties. We introduce DataPrep-Bench, the first unified benchmark that jointly evaluates both capabilities under a shared downstream-grounded protocol over six domains and multiple base models. For data construction, methods consume identical raw sources and are scored by fine-tuning a base model on their outputs jointly with Dolly-15k; alongside this track we release Data-Construction-Skill, a skill-guided agent that lifts the Dolly-only baseline by nearly 20 points absolute on Llama-3.1-8B Finance and is competitive with the strongest agent- and DataFlow-based methods in knowledge-extraction-dense domains. For data quality evaluation, scoring functions are scored by Pearson correlation with downstream performance on a shared candidate pool; we release the Distributional Alignment Score (DAS), a distribution-based evaluator that uses MMD between a candidate dataset and a domain proxy. DAS attains the strongest cross-model correlation in four of six domains and is the only metric clearing r > 0.70 simultaneously in Math, Science, and Medical, outperforming existing quality-, diversity-, and heuristic-based evaluators. DataPrep-Bench provides a unified, downstream-grounded framework for measuring progress on both capabilities as co-equal targets of LLM-driven data preparation.