HoneyBee: Datarecepten voor Visueel-Taal Redeneerders

HoneyBee: Data Recipes for Vision-Language Reasoners

October 14, 2025

Auteurs: Hritik Bansal, Devandra Singh Sachan, Kai-Wei Chang, Aditya Grover, Gargi Ghosh, Wen-tau Yih, Ramakanth Pasunuru

cs.AI

Samenvatting

Recente ontwikkelingen in vision-language modellen (VLMs) hebben hen zeer effectief gemaakt in redeneertaken. De principes die ten grondslag liggen aan de constructie van hoogwaardige trainingsdatasets voor visueel-taalkundig redeneren blijven echter slecht begrepen. In dit werk introduceren we verschillende benaderingen voor datacuratie en bestuderen we hun impact op de redeneervaardigheden van VLMs door zorgvuldig trainings- en evaluatieopstellingen te controleren. We analyseren de effecten van contextbronnen (afbeelding- en vraagparen), implementeren gerichte data-interventies, en onderzoeken het opschalen van afbeeldingen, vragen en chain-of-thought (CoT)-oplossingen. Onze bevindingen onthullen dat (a) strategieën voor contextbronnen de prestaties van VLMs significant beïnvloeden, (b) interventies zoals aanvullende signalen uit afbeeldingsbeschrijvingen en de opname van tekstueel redeneren aanzienlijke verbeteringen opleveren, en (c) het opschalen van alle data-dimensies (bijv. unieke vragen per afbeelding en unieke CoTs per afbeelding-vraagpaar) consistent de redeneervaardigheid verbetert. Gemotiveerd door deze inzichten introduceren we HoneyBee, een grootschalige, hoogwaardige CoT-redeneerdataset met 2,5 miljoen voorbeelden bestaande uit 350.000 afbeelding-vraagparen. VLMs die met HoneyBee zijn getraind, overtreffen state-of-the-art modellen over verschillende modelgroottes. Zo presteert een HoneyBee-getraind VLM met 3B parameters respectievelijk 7,8% en 24,8% beter dan het SOTA-model en het basismodel op MathVerse. Bovendien stellen we een testtijd-opschalingsstrategie voor die de decodeerkosten met 73% vermindert zonder de nauwkeurigheid op te offeren. Over het algemeen presenteert dit werk verbeterde strategieën voor onderzoek naar datacuratie voor visueel-taalkundig redeneren.

English

Recent advances in vision-language models (VLMs) have made them highly effective at reasoning tasks. However, the principles underlying the construction of performant VL reasoning training datasets remain poorly understood. In this work, we introduce several data curation approaches and study their impacts on VL reasoning capabilities by carefully controlling training and evaluation setups. We analyze the effects of context (image and question pair) sources, implement targeted data interventions, and explore scaling up images, questions, and chain-of-thought (CoT) solutions. Our findings reveal that (a) context source strategies significantly affect VLM performance, (b) interventions such as auxiliary signals from image captions and the inclusion of text-only reasoning yield substantial gains, and (c) scaling all data dimensions (e.g., unique questions per image and unique CoTs per image-question pair) consistently improves reasoning capability. Motivated by these insights, we introduce HoneyBee, a large-scale, high-quality CoT reasoning dataset with 2.5M examples consisting 350K image-question pairs. VLMs trained with HoneyBee outperform state-of-the-art models across model sizes. For instance, a HoneyBee-trained VLM with 3B parameters outperforms the SOTA model and the base model by 7.8% and 24.8%, respectively, on MathVerse. Furthermore, we propose a test-time scaling strategy that reduces decoding cost by 73% without sacrificing accuracy. Overall, this work presents improved strategies for VL reasoning dataset curation research.