Was zählt bei der Datenkuratierung für multimodales Schließen? Erkenntnisse aus der DCVLR-Herausforderung
What Matters in Data Curation for Multimodal Reasoning? Insights from the DCVLR Challenge
January 16, 2026
papers.authors: Yosub Shin, Michael Buriek, Boris Sobolev, Pavel Bushuyeu, Vikas Kumar, Haoyang Xu, Samuel Watson, Igor Molybog
cs.AI
papers.abstract
Wir untersuchen Datenkuratierung für multimodales Reasoning im Rahmen der NeurIPS 2025 DCVLR-Herausforderung, die die Datensatzauswahl isoliert, indem Modell und Trainingsprotokoll festgelegt werden. Mit einem kompakten, kuratierten Datensatz, der primär auf Walton Multimodal Cold Start basiert, belegte unser Beitrag den ersten Platz im Wettbewerb. Durch Post-Competition-Ablationen zeigen wir, dass eine schwierigkeitsbasierte Beispielauswahl auf einem alignierten Basis-Datensatz der Haupttreiber für Leistungssteigerungen ist. Eine Vergrößerung des Datensatzes verbessert die mittlere Genauigkeit unter dem festgelegten Trainingsrezept nicht zuverlässig, reduziert jedoch hauptsächlich die Lauf-zu-Lauf-Varianz, während gängige Heuristiken für Diversität und synthetische Augmentierung keinen zusätzlichen Nutzen bieten und die Leistung oft sogar verschlechtern. Diese Ergebnisse charakterisieren DCVLR als eine Evaluierung im Sättigungsbereich und unterstreichen die zentrale Rolle von Alignment und Schwierigkeitsgrad für dateneffizientes multimodales Reasoning.
English
We study data curation for multimodal reasoning through the NeurIPS 2025 Data Curation for Vision-Language Reasoning (DCVLR) challenge, which isolates dataset selection by fixing the model and training protocol. Using a compact curated dataset derived primarily from Walton Multimodal Cold Start, our submission placed first in the challenge. Through post-competition ablations, we show that difficulty-based example selection on an aligned base dataset is the dominant driver of performance gains. Increasing dataset size does not reliably improve mean accuracy under the fixed training recipe, but mainly reduces run-to-run variance, while commonly used diversity and synthetic augmentation heuristics provide no additional benefit and often degrade performance. These results characterize DCVLR as a saturation-regime evaluation and highlight the central role of alignment and difficulty in data-efficient multimodal reasoning.