Cosa conta nella cura dei dati per il ragionamento multimodale? Approfondimenti dalla sfida DCVLR
What Matters in Data Curation for Multimodal Reasoning? Insights from the DCVLR Challenge
January 16, 2026
Autori: Yosub Shin, Michael Buriek, Boris Sobolev, Pavel Bushuyeu, Vikas Kumar, Haoyang Xu, Samuel Watson, Igor Molybog
cs.AI
Abstract
Studiamo la cura dei dati per il ragionamento multimodale attraverso la challenge NeurIPS 2025 "Data Curation for Vision-Language Reasoning" (DCVLR), che isola la selezione del dataset fissando il modello e il protocollo di addestramento. Utilizzando un dataset compatto e curato derivato principalmente da Walton Multimodal Cold Start, la nostra proposta si è classificata al primo posto nella competizione. Tramite ablazioni post-competizione, dimostriamo che la selezione degli esempi basata sulla difficoltà su un dataset di base allineato è il fattore predominante per i guadagni prestazionali. L'aumento delle dimensioni del dataset non migliora in modo affidabile l'accuratezza media con la ricetta di addestramento fissa, ma riduce principalmente la varianza tra le esecuzioni, mentre le euristiche comunemente utilizzate per la diversità e l'aumento sintetico dei dati non forniscono benefici aggiuntivi e spesso degradano le prestazioni. Questi risultati caratterizzano la DCVLR come una valutazione in regime di saturazione e sottolineano il ruolo centrale dell'allineamento e della difficoltà nel ragionamento multimodale efficiente dal punto di vista dei dati.
English
We study data curation for multimodal reasoning through the NeurIPS 2025 Data Curation for Vision-Language Reasoning (DCVLR) challenge, which isolates dataset selection by fixing the model and training protocol. Using a compact curated dataset derived primarily from Walton Multimodal Cold Start, our submission placed first in the challenge. Through post-competition ablations, we show that difficulty-based example selection on an aligned base dataset is the dominant driver of performance gains. Increasing dataset size does not reliably improve mean accuracy under the fixed training recipe, but mainly reduces run-to-run variance, while commonly used diversity and synthetic augmentation heuristics provide no additional benefit and often degrade performance. These results characterize DCVLR as a saturation-regime evaluation and highlight the central role of alignment and difficulty in data-efficient multimodal reasoning.