ViCrit: Een verifieerbare proxytaak voor reinforcement learning voor visuele perceptie in VLMs

Samenvatting

Reinforcement learning (RL) heeft grote effectiviteit getoond bij het finetunen van grote taalmodelen (LLMs) met behulp van taken die uitdagend maar eenvoudig te verifiëren zijn, zoals wiskundig redeneren of codegeneratie. Het uitbreiden van dit succes naar visuele waarneming in visie-taalmodelen (VLMs) is echter belemmerd door het gebrek aan visueel gerichte taken die tegelijkertijd uitdagend en eenduidig verifieerbaar zijn. Daarom introduceren we ViCrit (Visual Caption Hallucination Critic), een RL-proxytaak die VLMs traint om een subtiele, synthetische visuele hallucinatie te lokaliseren die is ingevoegd in alinea's van door mensen geschreven beeldbeschrijvingen. Uitgaande van een beschrijving van 200 woorden, voegen we een enkele, subtiele visuele beschrijvingsfout toe—door een paar woorden aan te passen die betrekking hebben op objecten, attributen, aantallen of ruimtelijke relaties—en geven we het model de taak om het beschadigde segment te identificeren, gegeven de afbeelding en de aangepaste beschrijving. Deze formulering behoudt de volledige perceptuele moeilijkheid terwijl een binaire, exacte-match beloning wordt geboden die eenvoudig te berekenen en eenduidig is. Modellen die zijn getraind met de ViCrit-taak vertonen aanzienlijke verbeteringen op een verscheidenheid aan VL-benchmarks. Cruciaal is dat de verbeteringen zich uitstrekken voorbij natuurlijke beeldtrainingsdata naar abstract beeldredeneren en visuele wiskunde, wat de belofte toont van het leren waarnemen in plaats van slechts het onthouden van geziene objecten. Om evaluatie te vergemakkelijken, introduceren we verder ViCrit-Bench, een categorie-gebalanceerd diagnostisch benchmark dat systematisch waarnemingsfouten onderzoekt over diverse beelddomeinen en fouttypes. Samen tonen onze resultaten aan dat fijnmazige hallucinatiekritiek een effectief en generaliseerbaar doel is voor het verbeteren van visuele waarneming in VLMs.

English

Reinforcement learning (RL) has shown great effectiveness for fine-tuning large language models (LLMs) using tasks that are challenging yet easily verifiable, such as math reasoning or code generation. However, extending this success to visual perception in vision-language models (VLMs) has been impeded by the scarcity of vision-centric tasks that are simultaneously challenging and unambiguously verifiable. To this end, we introduce ViCrit (Visual Caption Hallucination Critic), an RL proxy task that trains VLMs to localize a subtle, synthetic visual hallucination injected into paragraphs of human-written image captions. Starting from a 200-word captions, we inject a single, subtle visual description error-altering a few words on objects, attributes, counts, or spatial relations-and task the model to pinpoint the corrupted span given the image and the modified caption. This formulation preserves the full perceptual difficulty while providing a binary, exact-match reward that is easy to compute and unambiguous. Models trained with the ViCrit Task exhibit substantial gains across a variety of VL benchmarks. Crucially, the improvements transfer beyond natural-image training data to abstract image reasoning and visual math, showing promises of learning to perceive rather than barely memorizing seen objects. To facilitate evaluation, we further introduce ViCrit-Bench, a category-balanced diagnostic benchmark that systematically probes perception errors across diverse image domains and error types. Together, our results demonstrate that fine-grained hallucination criticism is an effective and generalizable objective for enhancing visual perception in VLMs.

ViCrit: Een verifieerbare proxytaak voor reinforcement learning voor visuele perceptie in VLMs

ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs

Samenvatting

Support