HopChain: Многошаговый синтез данных для обобщающих рассуждений в области компьютерного зрения и обработки естественного языка

HopChain: Multi-Hop Data Synthesis for Generalizable Vision-Language Reasoning

March 17, 2026

Авторы: Shenzhi Wang, Shixuan Liu, Jing Zhou, Chang Gao, Xiong-Hui Chen, Binghai Wang, An Yang, Shiji Song, Bowen Yu, Gao Huang, Junyang Lin

cs.AI

Аннотация

Мультимодальные языковые модели (VLM) демонстрируют мощные мультимодальные способности, но по-прежнему испытывают трудности с тонким визуально-языковым рассуждением. Мы обнаружили, что длинные цепочки рассуждений (CoT) выявляют разнообразные типы ошибок, включая ошибки восприятия, логики, знаний и галлюцинаций, которые могут накапливаться на промежуточных шагах. Однако большинство существующих визуально-языковых данных, используемых для RLVR, не включают сложные цепочки рассуждений, последовательно опирающиеся на визуальные свидетельства, что оставляет эти слабости в основном непроявленными. Поэтому мы предлагаем HopChain — масштабируемую структуру для синтеза многошаговых данных визуально-языкового рассуждения, специально предназначенных для обучения VLMs методом RLVR. Каждый синтезированный многошаговый запрос формирует логически зависимую цепочку конкретных шагов, где предыдущие шаги устанавливают экземпляры, множества или условия, необходимые для последующих шагов, в то время как окончательный ответ остается конкретным, однозначным числом, пригодным для верифицируемого вознаграждения. Мы добавляем многошаговые данные, синтезированные HopChain, к исходным данным RLVR, использовавшимся для обучения моделей Qwen3.5-35B-A3B и Qwen3.5-397B-A17B, и сравниваем их с RLVR только на исходных данных по 24 тестам, охватывающим STEM и головоломки, общие VQA, распознавание текста и понимание документов, а также понимание видео. Хотя эти многошаговые данные не синтезировались для targeting конкретных тестов, их добавление улучшает результаты в 20 из 24 тестов для обеих моделей, что указывает на широкий и обобщаемый выигрыш. Чтобы продемонстрировать важность полных цепочек запросов, мы заменяем их на полу-многошаговые или одношаговые варианты, что снижает среднюю точность по 24 тестам на 5.3 и 7.0 пунктов соответственно. Многошаговое обучение также усиливает длинное визуально-языковое рассуждение CoT, с максимальным приростом точности более чем на 50 пунктов в режиме сверхдлинного CoT. Эти эксперименты подтверждают, что HopChain является эффективной и масштабируемой структурой для синтеза многошаговых данных, которые улучшают обобщаемое визуально-языковое рассуждение.

English

VLMs show strong multimodal capabilities, but they still struggle with fine-grained vision-language reasoning. We find that long CoT reasoning exposes diverse failure modes, including perception, reasoning, knowledge, and hallucination errors, which can compound across intermediate steps. However, most existing vision-language data used for RLVR does not involve complex reasoning chains that rely on visual evidence throughout, leaving these weaknesses largely unexposed. We therefore propose HopChain, a scalable framework for synthesizing multi-hop vision-language reasoning data specifically for RLVR training of VLMs. Each synthesized multi-hop query forms a logically dependent chain of instance-grounded hops, where earlier hops establish the instances, sets, or conditions needed for later hops, while the final answer remains a specific, unambiguous number suitable for verifiable rewards. We add the multi-hop data synthesized by HopChain to the original RLVR data used to train Qwen3.5-35B-A3B and Qwen3.5-397B-A17B, and compare against RLVR on the original RLVR data alone across 24 benchmarks spanning STEM and Puzzle, General VQA, Text Recognition and Document Understanding, and Video Understanding. Although this multi-hop data is not synthesized to target any specific benchmark, adding it improves 20 out of 24 benchmarks on both models, indicating broad and generalizable gains. To demonstrate that full chained queries are important, we replace them with half-multi-hop or single-hop variants, reducing the 24-benchmark average accuracy by 5.3 and 7.0 points, respectively. Multi-hop training also strengthens long-CoT vision-language reasoning, with gains peaking at more than 50 accuracy points in the ultra-long-CoT regime. These experiments establish HopChain as an effective, scalable framework for synthesizing multi-hop data that improves generalizable vision-language reasoning.