Самообучающаяся визуально-языковая модель через декомпозицию рассуждений

Аннотация

Модели, объединяющие зрение и язык (Vision-Language Models, VLMs), часто страдают от визуальных галлюцинаций, когда они говорят о том, чего на самом деле нет на изображении, и языковых сокращений, когда они пропускают визуальную часть и полагаются только на текстовые априорные данные. Эти проблемы возникают из-за того, что большинство методов пост-обучения для VLMs основываются на простом сопоставлении проверяемых ответов и контролируют только конечные выходы, оставляя промежуточное визуальное рассуждение без явного руководства. В результате VLMs получают скудные визуальные сигналы и часто учатся отдавать приоритет языковому рассуждению перед визуальным восприятием. Чтобы смягчить это, некоторые существующие методы добавляют визуальный контроль с использованием аннотаций, созданных людьми, или дистиллированных меток от внешних крупных моделей. Однако аннотации, созданные людьми, требуют больших трудозатрат и дорогостоящи, а внешние сигналы не могут адаптироваться к изменяющейся политике, что вызывает сдвиги в распределении, которые могут привести к "взлому наград". В данной статье мы представляем Vision-SR1, метод самонаграждения, который улучшает визуальное рассуждение без использования внешнего визуального контроля с помощью обучения с подкреплением. Vision-SR1 разбивает рассуждение VLM на два этапа: визуальное восприятие и языковое рассуждение. Сначала модель побуждается создавать самодостаточные визуальные восприятия, которые достаточны для ответа на вопрос без обращения к исходному изображению. Чтобы проверить эту самодостаточность, та же модель VLM затем повторно побуждается выполнить языковое рассуждение, используя только сгенерированное восприятие в качестве входных данных для вычисления награды. Эта самонаграда сочетается с контролем над конечными выходными данными, обеспечивая сбалансированный сигнал обучения, который укрепляет как визуальное восприятие, так и языковое рассуждение. Наши эксперименты показывают, что Vision-SR1 улучшает визуальное рассуждение, смягчает визуальные галлюцинации и снижает зависимость от языковых сокращений в различных задачах, связанных с зрением и языком.

English

Vision-Language Models (VLMs) often suffer from visual hallucinations, saying things that are not actually in the image, and language shortcuts, where they skip the visual part and just rely on text priors. These issues arise because most post-training methods for VLMs rely on simple verifiable answer matching and supervise only final outputs, leaving intermediate visual reasoning without explicit guidance. As a result, VLMs receive sparse visual signals and often learn to prioritize language-based reasoning over visual perception. To mitigate this, some existing methods add visual supervision using human annotations or distilled labels from external large models. However, human annotations are labor-intensive and costly, and because external signals cannot adapt to the evolving policy, they cause distributional shifts that can lead to reward hacking. In this paper, we introduce Vision-SR1, a self-rewarding method that improves visual reasoning without relying on external visual supervisions via reinforcement learning. Vision-SR1 decomposes VLM reasoning into two stages: visual perception and language reasoning. The model is first prompted to produce self-contained visual perceptions that are sufficient to answer the question without referring back the input image. To validate this self-containment, the same VLM model is then re-prompted to perform language reasoning using only the generated perception as input to compute reward. This self-reward is combined with supervision on final outputs, providing a balanced training signal that strengthens both visual perception and language reasoning. Our experiments demonstrate that Vision-SR1 improves visual reasoning, mitigates visual hallucinations, and reduces reliance on language shortcuts across diverse vision-language tasks.

Самообучающаяся визуально-языковая модель через декомпозицию рассуждений

Self-Rewarding Vision-Language Model via Reasoning Decomposition

Аннотация

Support