데이터프렙-벤치: LLM의 훈련 데이터 준비 능력 벤치마킹

초록

학습 데이터의 품질은 대규모 언어 모델(LLM)의 능력을 근본적으로 결정하지만, LLM, 에이전트, 데이터 중심 워크플로우가 실제로 종단 간 학습 데이터를 얼마나 잘 준비하는지 측정하는 통일된 벤치마크는 존재하지 않습니다. 우리는 LLM 기반 데이터 준비가 두 가지 상호 보완적 역량으로 구성된다고 봅니다. 즉, 원시 소스를 지도 학습 데이터로 변환하는 데이터 구축과, 다운스트림 학습 전에 후보 데이터셋의 학습 가치를 예측하는 데이터 품질 평가입니다. 여기서 "품질"은 표면적 텍스트 속성이 아닌 다운스트림 학습 효용성을 의미합니다. 우리는 여섯 개 도메인과 여러 기본 모델에 걸쳐 공유된 다운스트림 기반 프로토콜 하에서 두 역량을 함께 평가하는 최초의 통합 벤치마크인 DataPrep-Bench를 소개합니다. 데이터 구축의 경우, 방법들은 동일한 원시 소스를 사용하며, 해당 출력물을 Dolly-15k와 함께 기본 모델에 미세 조정하여 점수를 매깁니다. 이 트랙과 함께 우리는 Data-Construction-Skill을 공개합니다. 이는 스킬 기반 에이전트로, Llama-3.1-8B 금융 도메인에서 Dolly-only 기준선을 절대치 기준 약 20포인트 향상시키며, 지식 추출 집약적 도메인에서 가장 강력한 에이전트 및 DataFlow 기반 방법과 경쟁력을 갖춥니다. 데이터 품질 평가의 경우, 점수 함수는 공유된 후보 풀에서 다운스트림 성능과의 피어슨 상관계수로 점수가 매겨집니다. 우리는 후보 데이터셋과 도메인 프록시 간의 MMD를 사용하는 분포 기반 평가자인 분포 정렬 점수(Distributional Alignment Score, DAS)를 공개합니다. DAS는 여섯 개 도메인 중 네 곳에서 가장 강력한 모델 간 상관관계를 달성하며, 수학, 과학, 의학에서 동시에 r > 0.70을 넘는 유일한 지표로, 기존의 품질 기반, 다양성 기반, 휴리스틱 기반 평가자들을 능가합니다. DataPrep-Bench는 LLM 기반 데이터 준비의 동등한 목표로서 두 역량에 대한 진전을 측정하기 위한 통합된 다운스트림 기반 프레임워크를 제공합니다.

English

The quality of training data fundamentally determines the capabilities of large language models (LLMs), yet no unified benchmark exists to measure how well LLMs, agents, and data-centric workflows actually prepare training data end to end. We view LLM-driven data preparation as comprising two complementary capabilities: data construction, which transforms raw sources into supervised training data, and data quality evaluation, which predicts the training value of candidate datasets before downstream training; throughout, "quality" refers to downstream training utility rather than surface-level textual properties. We introduce DataPrep-Bench, the first unified benchmark that jointly evaluates both capabilities under a shared downstream-grounded protocol over six domains and multiple base models. For data construction, methods consume identical raw sources and are scored by fine-tuning a base model on their outputs jointly with Dolly-15k; alongside this track we release Data-Construction-Skill, a skill-guided agent that lifts the Dolly-only baseline by nearly 20 points absolute on Llama-3.1-8B Finance and is competitive with the strongest agent- and DataFlow-based methods in knowledge-extraction-dense domains. For data quality evaluation, scoring functions are scored by Pearson correlation with downstream performance on a shared candidate pool; we release the Distributional Alignment Score (DAS), a distribution-based evaluator that uses MMD between a candidate dataset and a domain proxy. DAS attains the strongest cross-model correlation in four of six domains and is the only metric clearing r > 0.70 simultaneously in Math, Science, and Medical, outperforming existing quality-, diversity-, and heuristic-based evaluators. DataPrep-Bench provides a unified, downstream-grounded framework for measuring progress on both capabilities as co-equal targets of LLM-driven data preparation.