ViCrit : Une tâche proxy vérifiable d'apprentissage par renforcement pour la perception visuelle dans les modèles de langage visuel

Résumé

L'apprentissage par renforcement (RL) a démontré une grande efficacité pour le réglage fin des grands modèles de langage (LLMs) en utilisant des tâches à la fois complexes et facilement vérifiables, telles que le raisonnement mathématique ou la génération de code. Cependant, l'extension de ce succès à la perception visuelle dans les modèles vision-langage (VLMs) a été entravée par la rareté des tâches centrées sur la vision qui sont simultanément difficiles et vérifiables de manière non ambiguë. À cette fin, nous introduisons ViCrit (Visual Caption Hallucination Critic), une tâche proxy de RL qui entraîne les VLMs à localiser une hallucination visuelle synthétique subtile injectée dans des paragraphes de descriptions d'images écrites par des humains. À partir d'une description de 200 mots, nous injectons une seule erreur visuelle subtile—modifiant quelques mots concernant les objets, les attributs, les quantités ou les relations spatiales—et demandons au modèle d'identifier le segment corrompu en fonction de l'image et de la description modifiée. Cette formulation préserve toute la difficulté perceptive tout en fournissant une récompense binaire et exacte, facile à calculer et non ambiguë. Les modèles entraînés avec la tâche ViCrit montrent des gains substantiels sur une variété de benchmarks VL. De manière cruciale, les améliorations se transfèrent au-delà des données d'entraînement sur des images naturelles vers le raisonnement sur des images abstraites et les mathématiques visuelles, montrant des promesses d'apprentissage à percevoir plutôt que de simplement mémoriser les objets vus. Pour faciliter l'évaluation, nous introduisons également ViCrit-Bench, un benchmark diagnostique équilibré par catégorie qui sonde systématiquement les erreurs de perception à travers divers domaines d'images et types d'erreurs. Ensemble, nos résultats démontrent que la critique fine des hallucinations est un objectif efficace et généralisable pour améliorer la perception visuelle dans les VLMs.

English

Reinforcement learning (RL) has shown great effectiveness for fine-tuning large language models (LLMs) using tasks that are challenging yet easily verifiable, such as math reasoning or code generation. However, extending this success to visual perception in vision-language models (VLMs) has been impeded by the scarcity of vision-centric tasks that are simultaneously challenging and unambiguously verifiable. To this end, we introduce ViCrit (Visual Caption Hallucination Critic), an RL proxy task that trains VLMs to localize a subtle, synthetic visual hallucination injected into paragraphs of human-written image captions. Starting from a 200-word captions, we inject a single, subtle visual description error-altering a few words on objects, attributes, counts, or spatial relations-and task the model to pinpoint the corrupted span given the image and the modified caption. This formulation preserves the full perceptual difficulty while providing a binary, exact-match reward that is easy to compute and unambiguous. Models trained with the ViCrit Task exhibit substantial gains across a variety of VL benchmarks. Crucially, the improvements transfer beyond natural-image training data to abstract image reasoning and visual math, showing promises of learning to perceive rather than barely memorizing seen objects. To facilitate evaluation, we further introduce ViCrit-Bench, a category-balanced diagnostic benchmark that systematically probes perception errors across diverse image domains and error types. Together, our results demonstrate that fine-grained hallucination criticism is an effective and generalizable objective for enhancing visual perception in VLMs.

ViCrit : Une tâche proxy vérifiable d'apprentissage par renforcement pour la perception visuelle dans les modèles de langage visuel

ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs

Résumé

Support