HoneyBee: Datenrezepte für visuell-sprachliche Denksysteme

papers.abstract

Jüngste Fortschritte in Vision-Language-Modellen (VLMs) haben diese äußerst effektiv für Aufgaben des logischen Schließens gemacht. Dennoch sind die Prinzipien, die der Konstruktion leistungsfähiger Trainingsdatensätze für das visuell-linguistische Schließen zugrunde liegen, noch weitgehend unverstanden. In dieser Arbeit führen wir mehrere Ansätze zur Datenkuratierung ein und untersuchen deren Auswirkungen auf die Fähigkeiten des visuell-linguistischen Schließens, indem wir Trainings- und Evaluierungssetups sorgfältig kontrollieren. Wir analysieren die Effekte von Kontextquellen (Bild- und Fragepaare), implementieren gezielte Dateninterventionen und untersuchen die Skalierung von Bildern, Fragen und Chain-of-Thought (CoT)-Lösungen. Unsere Ergebnisse zeigen, dass (a) Strategien zur Kontextquelle die Leistung von VLMs signifikant beeinflussen, (b) Interventionen wie zusätzliche Signale aus Bildbeschreibungen und die Einbeziehung von textbasiertem Schließen erhebliche Verbesserungen bringen und (c) die Skalierung aller Datenbereiche (z. B. einzigartige Fragen pro Bild und einzigartige CoTs pro Bild-Frage-Paar) die Fähigkeit zum logischen Schließen konsequent verbessert. Motiviert durch diese Erkenntnisse stellen wir HoneyBee vor, einen groß angelegten, hochwertigen CoT-Schließungsdatensatz mit 2,5 Millionen Beispielen, bestehend aus 350.000 Bild-Frage-Paaren. Mit HoneyBee trainierte VLMs übertreffen state-of-the-art Modelle über alle Modellgrößen hinweg. Beispielsweise übertrifft ein mit HoneyBee trainiertes VLM mit 3B Parametern das SOTA-Modell und das Basismodell um 7,8 % bzw. 24,8 % auf MathVerse. Darüber hinaus schlagen wir eine Skalierungsstrategie zur Testzeit vor, die die Dekodierungskosten um 73 % reduziert, ohne die Genauigkeit zu beeinträchtigen. Insgesamt präsentiert diese Arbeit verbesserte Strategien für die Forschung zur Kuratierung von Datensätzen für das visuell-linguistische Schließen.

English

Recent advances in vision-language models (VLMs) have made them highly effective at reasoning tasks. However, the principles underlying the construction of performant VL reasoning training datasets remain poorly understood. In this work, we introduce several data curation approaches and study their impacts on VL reasoning capabilities by carefully controlling training and evaluation setups. We analyze the effects of context (image and question pair) sources, implement targeted data interventions, and explore scaling up images, questions, and chain-of-thought (CoT) solutions. Our findings reveal that (a) context source strategies significantly affect VLM performance, (b) interventions such as auxiliary signals from image captions and the inclusion of text-only reasoning yield substantial gains, and (c) scaling all data dimensions (e.g., unique questions per image and unique CoTs per image-question pair) consistently improves reasoning capability. Motivated by these insights, we introduce HoneyBee, a large-scale, high-quality CoT reasoning dataset with 2.5M examples consisting 350K image-question pairs. VLMs trained with HoneyBee outperform state-of-the-art models across model sizes. For instance, a HoneyBee-trained VLM with 3B parameters outperforms the SOTA model and the base model by 7.8% and 24.8%, respectively, on MathVerse. Furthermore, we propose a test-time scaling strategy that reduces decoding cost by 73% without sacrificing accuracy. Overall, this work presents improved strategies for VL reasoning dataset curation research.

HoneyBee: Datenrezepte für visuell-sprachliche Denksysteme

HoneyBee: Data Recipes for Vision-Language Reasoners

papers.abstract

Support