HoneyBee: 視覚-言語推論のためのデータレシピ

HoneyBee: Data Recipes for Vision-Language Reasoners

October 14, 2025

著者: Hritik Bansal, Devandra Singh Sachan, Kai-Wei Chang, Aditya Grover, Gargi Ghosh, Wen-tau Yih, Ramakanth Pasunuru

cs.AI

要旨

近年、視覚言語モデル（VLM）の進展により、推論タスクにおける高い有効性が実証されている。しかし、高性能なVLM推論トレーニングデータセットの構築原理については、依然として理解が不十分である。本研究では、複数のデータキュレーション手法を導入し、トレーニングと評価の設定を慎重に制御することで、それらがVLMの推論能力に与える影響を調査した。具体的には、コンテキスト（画像と質問のペア）のソースの影響を分析し、ターゲットを絞ったデータ介入を実施し、画像、質問、および連鎖的思考（CoT）ソリューションのスケールアップを探求した。その結果、(a) コンテキストソース戦略がVLMの性能に大きく影響すること、(b) 画像キャプションからの補助信号やテキストのみの推論の包含といった介入が大幅な向上をもたらすこと、(c) すべてのデータ次元（例：画像ごとのユニークな質問や画像-質問ペアごとのユニークなCoT）をスケールアップすることが推論能力を一貫して向上させることが明らかとなった。これらの知見に基づき、350Kの画像-質問ペアからなる2.5Mの例を含む大規模で高品質なCoT推論データセット「HoneyBee」を導入した。HoneyBeeでトレーニングされたVLMは、モデルサイズを問わず、最先端のモデルを凌駕する。例えば、3BパラメータのHoneyBeeトレーニングVLMは、MathVerseにおいて、SOTAモデルおよびベースモデルをそれぞれ7.8％および24.8％上回った。さらに、デコードコストを73％削減しつつ精度を維持するテストタイムスケーリング戦略を提案した。全体として、本研究はVLM推論データセットキュレーション研究の改善戦略を示すものである。

English

Recent advances in vision-language models (VLMs) have made them highly effective at reasoning tasks. However, the principles underlying the construction of performant VL reasoning training datasets remain poorly understood. In this work, we introduce several data curation approaches and study their impacts on VL reasoning capabilities by carefully controlling training and evaluation setups. We analyze the effects of context (image and question pair) sources, implement targeted data interventions, and explore scaling up images, questions, and chain-of-thought (CoT) solutions. Our findings reveal that (a) context source strategies significantly affect VLM performance, (b) interventions such as auxiliary signals from image captions and the inclusion of text-only reasoning yield substantial gains, and (c) scaling all data dimensions (e.g., unique questions per image and unique CoTs per image-question pair) consistently improves reasoning capability. Motivated by these insights, we introduce HoneyBee, a large-scale, high-quality CoT reasoning dataset with 2.5M examples consisting 350K image-question pairs. VLMs trained with HoneyBee outperform state-of-the-art models across model sizes. For instance, a HoneyBee-trained VLM with 3B parameters outperforms the SOTA model and the base model by 7.8% and 24.8%, respectively, on MathVerse. Furthermore, we propose a test-time scaling strategy that reduces decoding cost by 73% without sacrificing accuracy. Overall, this work presents improved strategies for VL reasoning dataset curation research.