HoneyBee: Ricette di Dati per Modelli di Ragionamento Visione-Linguaggio

Abstract

I recenti progressi nei modelli visione-linguaggio (VLMs) li hanno resi altamente efficaci nei compiti di ragionamento. Tuttavia, i principi alla base della costruzione di dataset di addestramento performanti per il ragionamento VL rimangono poco compresi. In questo lavoro, introduciamo diversi approcci di curatela dei dati e studiamo il loro impatto sulle capacità di ragionamento VL controllando attentamente le configurazioni di addestramento e valutazione. Analizziamo gli effetti delle fonti di contesto (coppie immagine e domanda), implementiamo interventi mirati sui dati ed esploriamo il ridimensionamento di immagini, domande e soluzioni a catena di pensiero (CoT). Le nostre scoperte rivelano che (a) le strategie di selezione delle fonti di contesto influenzano significativamente le prestazioni dei VLMs, (b) interventi come segnali ausiliari provenienti da didascalie di immagini e l'inclusione di ragionamenti basati solo su testo producono miglioramenti sostanziali, e (c) il ridimensionamento di tutte le dimensioni dei dati (ad esempio, domande uniche per immagine e CoT uniche per coppia immagine-domanda) migliora costantemente la capacità di ragionamento. Motivati da queste intuizioni, introduciamo HoneyBee, un dataset su larga scala e di alta qualità per il ragionamento CoT con 2,5 milioni di esempi composti da 350.000 coppie immagine-domanda. I VLMs addestrati con HoneyBee superano i modelli all'avanguardia in tutte le dimensioni del modello. Ad esempio, un VLM addestrato con HoneyBee con 3 miliardi di parametri supera il modello SOTA e il modello base rispettivamente del 7,8% e del 24,8% su MathVerse. Inoltre, proponiamo una strategia di ridimensionamento al momento del test che riduce i costi di decodifica del 73% senza compromettere l'accuratezza. Nel complesso, questo lavoro presenta strategie migliorate per la ricerca sulla curatela di dataset per il ragionamento VL.

English

Recent advances in vision-language models (VLMs) have made them highly effective at reasoning tasks. However, the principles underlying the construction of performant VL reasoning training datasets remain poorly understood. In this work, we introduce several data curation approaches and study their impacts on VL reasoning capabilities by carefully controlling training and evaluation setups. We analyze the effects of context (image and question pair) sources, implement targeted data interventions, and explore scaling up images, questions, and chain-of-thought (CoT) solutions. Our findings reveal that (a) context source strategies significantly affect VLM performance, (b) interventions such as auxiliary signals from image captions and the inclusion of text-only reasoning yield substantial gains, and (c) scaling all data dimensions (e.g., unique questions per image and unique CoTs per image-question pair) consistently improves reasoning capability. Motivated by these insights, we introduce HoneyBee, a large-scale, high-quality CoT reasoning dataset with 2.5M examples consisting 350K image-question pairs. VLMs trained with HoneyBee outperform state-of-the-art models across model sizes. For instance, a HoneyBee-trained VLM with 3B parameters outperforms the SOTA model and the base model by 7.8% and 24.8%, respectively, on MathVerse. Furthermore, we propose a test-time scaling strategy that reduces decoding cost by 73% without sacrificing accuracy. Overall, this work presents improved strategies for VL reasoning dataset curation research.

HoneyBee: Ricette di Dati per Modelli di Ragionamento Visione-Linguaggio

HoneyBee: Data Recipes for Vision-Language Reasoners

Abstract

Support