Wat Telt bij Data-curatie voor Multimodaal Redeneren? Inzichten uit de DCVLR-uitdaging
What Matters in Data Curation for Multimodal Reasoning? Insights from the DCVLR Challenge
January 16, 2026
Auteurs: Yosub Shin, Michael Buriek, Boris Sobolev, Pavel Bushuyeu, Vikas Kumar, Haoyang Xu, Samuel Watson, Igor Molybog
cs.AI
Samenvatting
Wij bestuderen datacuratie voor multimodale redeneervaardigheden via de NeurIPS 2025 Data Curation for Vision-Language Reasoning (DCVLR) challenge, waarbij datasetselectie wordt geïsoleerd door het model en trainingsprotocol vast te leggen. Met behulp van een compacte, gecureerde dataset, voornamelijk afgeleid van Walton Multimodal Cold Start, eindigde onze inzending als eerste in de challenge. Via post-competitie ablatiestudies tonen we aan dat selectie van voorbeelden op basis van moeilijkheidsgraad in een uitgelijnde basisdataset de belangrijkste drijvende kracht is voor prestatieverbetering. Het vergroten van de datasetgrootte verbetert de gemiddelde nauwkeurigheid niet betrouwbaar onder het vaste trainingsrecept, maar vermindert voornamelijk de run-to-run variantie, terwijl veelgebruikte heuristieken voor diversiteit en synthetische augmentatie geen extra voordeel bieden en vaak de prestaties verslechteren. Deze resultaten karakteriseren DCVLR als een evaluatie in het verzadigingsregime en benadrukken de centrale rol van uitlijning en moeilijkheidsgraad bij data-efficiënt multimodaal redeneren.
English
We study data curation for multimodal reasoning through the NeurIPS 2025 Data Curation for Vision-Language Reasoning (DCVLR) challenge, which isolates dataset selection by fixing the model and training protocol. Using a compact curated dataset derived primarily from Walton Multimodal Cold Start, our submission placed first in the challenge. Through post-competition ablations, we show that difficulty-based example selection on an aligned base dataset is the dominant driver of performance gains. Increasing dataset size does not reliably improve mean accuracy under the fixed training recipe, but mainly reduces run-to-run variance, while commonly used diversity and synthetic augmentation heuristics provide no additional benefit and often degrade performance. These results characterize DCVLR as a saturation-regime evaluation and highlight the central role of alignment and difficulty in data-efficient multimodal reasoning.