DecoupleMix: 확장 가능한 VLM 데이터 레시피를 위한 분리된 비율 탐색과 볼록 할당

초록

비전-언어 모델(VLM)을 위한 데이터 큐레이션은 점점 더 활발해지고 있지만, 사전 학습 혼합물을 구성하는 공개적인 관행은 여전히 대체로 경험적(heuristic)입니다. 실무자들은 품질 필터를 통과한 데이터셋을 결합하고, 직관에 따라 도메인 간 비율을 설정하며, 새로운 데이터를 수용하기 위한 원칙적이고 속성 가능한 기준이 부족한 반면, 최첨단 레시피는 공개되지 않은 상태입니다. 우리는 데이터 구성을 체계적인 혼합 최적화 문제로 정식화하고, 혼합물을 능력 간 클래스 비율(inter-class ratios)과 범주 내 클래스 비율(intra-class ratios)이라는 두 개의 직교하는 하위 문제로 분리함으로써 이를 재현 가능한 공학 분야로 전환합니다. 클래스 간 할당을 위해 단일 변수 반복 탐색을 사용하고, 클래스 내 구성을 위해 다차원적 데이터셋 수준의 평가 점수(품질 및 난이도)를 적용하며, 다양성 목표를 가진 제약 조건이 있는 볼록 최적화로 선택을 정식화합니다. DecoupleMix 프레임워크는 다음에 수집할 데이터를 안내하고 데이터셋 검증을 통제되고 속성 가능한 실험으로 만드는 두 가지 핵심 기능을 제공합니다. 실험 결과는 우리의 접근 방식이 경험적 기준선을 일관되게 능가함을 보여줍니다. 또한, 소규모 프록시에서 발견된 최적 비율은 재조정 없이도 대규모로 원활하게 전이됩니다. 800억 개의 추가 멀티모달 계속 사전 학습 토큰을 사용하여, 우리의 VLM은 훨씬 더 큰 멀티모달 예산으로 학습된 강력한 오픈소스 모델과 경쟁력을 갖추게 되었습니다.

English

While data curation for Vision Language Models (VLMs) is increasingly active, public practice for constructing pretraining mixtures remains largely heuristic: practitioners stack datasets that pass quality filters, set cross-domain ratios by intuition, and lack a principled, attributable criterion for admitting new data, while frontier recipes remain undisclosed. We formulate data construction as a systematic mixture-optimization problem and turn it into a reproducible engineering discipline by decoupling the mixture into two orthogonal sub-problems: inter-class ratios across capabilities and intra-class ratios within a category. For inter-class allocation, we use a single-variable iterative search; for intra-class composition, we apply a multidimensional, dataset-level assessment scoring Quality and Difficulty, and formulate selection as a constrained convex optimization with a diversity objective. The DecoupleMix framework delivers two critical capabilities: guiding what data to collect next and rendering dataset validation a controlled, attributable experiment. Experiments show our approach consistently surpasses heuristic baselines. Moreover, optimal ratios discovered on small-scale proxies transfer seamlessly to larger scales without retuning. Using 80B additional multimodal continue-pretraining tokens, our VLM is competitive with strong open-source models trained with substantially larger multimodal budgets.