HoneyBee: Receitas de Dados para Sistemas de Raciocínio Visão-Linguagem

HoneyBee: Data Recipes for Vision-Language Reasoners

October 14, 2025

Autores: Hritik Bansal, Devandra Singh Sachan, Kai-Wei Chang, Aditya Grover, Gargi Ghosh, Wen-tau Yih, Ramakanth Pasunuru

cs.AI

Resumo

Os recentes avanços em modelos de visão e linguagem (VLMs) tornaram-nos altamente eficazes em tarefas de raciocínio. No entanto, os princípios subjacentes à construção de conjuntos de dados de treinamento eficazes para raciocínio VL permanecem pouco compreendidos. Neste trabalho, introduzimos várias abordagens de curadoria de dados e estudamos seus impactos nas capacidades de raciocínio VL, controlando cuidadosamente as configurações de treinamento e avaliação. Analisamos os efeitos das fontes de contexto (par imagem e pergunta), implementamos intervenções direcionadas nos dados e exploramos a ampliação de imagens, perguntas e soluções de cadeia de pensamento (CoT). Nossas descobertas revelam que (a) as estratégias de fonte de contexto afetam significativamente o desempenho dos VLMs, (b) intervenções como sinais auxiliares de legendas de imagens e a inclusão de raciocínio apenas textual geram ganhos substanciais, e (c) a ampliação de todas as dimensões dos dados (por exemplo, perguntas únicas por imagem e CoTs únicos por par imagem-pergunta) melhora consistentemente a capacidade de raciocínio. Motivados por essas percepções, introduzimos o HoneyBee, um conjunto de dados de raciocínio CoT em grande escala e de alta qualidade, com 2,5 milhões de exemplos, consistindo em 350 mil pares imagem-pergunta. VLMs treinados com o HoneyBee superam os modelos state-of-the-art em todos os tamanhos de modelo. Por exemplo, um VLM treinado com o HoneyBee e 3 bilhões de parâmetros supera o modelo SOTA e o modelo base em 7,8% e 24,8%, respectivamente, no MathVerse. Além disso, propomos uma estratégia de escalonamento em tempo de teste que reduz o custo de decodificação em 73% sem sacrificar a precisão. No geral, este trabalho apresenta estratégias aprimoradas para a pesquisa de curadoria de conjuntos de dados de raciocínio VL.

English

Recent advances in vision-language models (VLMs) have made them highly effective at reasoning tasks. However, the principles underlying the construction of performant VL reasoning training datasets remain poorly understood. In this work, we introduce several data curation approaches and study their impacts on VL reasoning capabilities by carefully controlling training and evaluation setups. We analyze the effects of context (image and question pair) sources, implement targeted data interventions, and explore scaling up images, questions, and chain-of-thought (CoT) solutions. Our findings reveal that (a) context source strategies significantly affect VLM performance, (b) interventions such as auxiliary signals from image captions and the inclusion of text-only reasoning yield substantial gains, and (c) scaling all data dimensions (e.g., unique questions per image and unique CoTs per image-question pair) consistently improves reasoning capability. Motivated by these insights, we introduce HoneyBee, a large-scale, high-quality CoT reasoning dataset with 2.5M examples consisting 350K image-question pairs. VLMs trained with HoneyBee outperform state-of-the-art models across model sizes. For instance, a HoneyBee-trained VLM with 3B parameters outperforms the SOTA model and the base model by 7.8% and 24.8%, respectively, on MathVerse. Furthermore, we propose a test-time scaling strategy that reduces decoding cost by 73% without sacrificing accuracy. Overall, this work presents improved strategies for VL reasoning dataset curation research.