V-Zero : Distillation sur politique sans étiquette de réponse avec gating par évidence contrastive pour le raisonnement visuel à grain fin

Résumé

Le raisonnement visuel fin nécessite que les modèles de langage multimodal de grande taille (MLLM) identifient les preuves visuelles pertinentes pour la tâche et ancrent leur raisonnement dans des régions locales de l'image. Les méthodes agentiques existantes reposent généralement sur l'apprentissage par renforcement avec récompenses vérifiables ou sur le fine-tuning supervisé sur de vastes traces de raisonnement annotées, entraînant une exploration coûteuse, des règles de vérification conçues manuellement ou une forte dépendance à la supervision textuelle. Une manière naturelle d'éviter ces étiquettes de réponse externes est d'apprendre à partir de trajectoires échantillonnées par l'étudiant lui-même, ce qui conduit à la distillation en politique (OPD). Pour comprendre ce que l'OPD peut et ne peut pas apporter au raisonnement visuel, nous le revisitons comme un alignement par arrêt de gradient sans échantillon négatif. Cette perspective montre que, bien que l'OPD fournisse une correction efficace au niveau des tokens, son plafond est contraint par l'absence de discrimination au niveau des trajectoires. Motivés par ces observations, nous proposons V-Zero, un cadre sans étiquette de réponse pour le raisonnement visuel avec un contrôle des preuves par contraste. V-Zero n'utilise aucune étiquette de réponse textuelle annotée ; à la place, pendant l'entraînement, il associe un recadrage régional pertinent pour la question avec une vue visuelle négative pour évaluer les trajectoires échantillonnées par l'étudiant et contrôler la distillation dense au niveau des tokens. Des expériences sur plusieurs benchmarks de raisonnement visuel montrent que V-Zero améliore systématiquement le raisonnement visuel fin tout en préservant une forte généralisation. Notamment, V-Zero est plus de 5 fois plus rapide que les méthodes précédentes de fine-tuning supervisé et plus de 10 fois plus rapide que les bases de référence en apprentissage par renforcement. Le code et le jeu de données seront publiés à l'adresse https://github.com/eVI-group-SCU/V-Zero

English

Fine-grained visual reasoning requires multimodal large language models (MLLMs) to identify task-relevant visual evidence and ground their reasoning in local image regions. Existing agentic methods typically rely on reinforcement learning with verifiable rewards or supervised fine-tuning on large-scale annotated reasoning traces, leading to costly exploration, hand-designed verification rules, or heavy dependence on textual supervision. A natural way to avoid such external answer labels is to learn from trajectories sampled by the student itself, which points to On-Policy Distillation (OPD). To understand what OPD can and cannot provide for visual reasoning, we revisit it as negative-free stop-gradient alignment. This perspective shows that, although OPD provides effective token-level correction, its ceiling is constrained by the absence of trajectory-level discrimination. Motivated by these observations, we propose V-Zero, an answer-label-free framework for visual reasoning with contrastive evidence gating. V-Zero uses no annotated textual answer labels; instead, during training it pairs a question-relevant regional crop with a negative visual view to evaluate student-sampled trajectories and gate dense token-level distillation. Experiments on multiple visual reasoning benchmarks show that V-Zero consistently improves fine-grained visual reasoning while preserving strong generalization. Notably, V-Zero is more than 5times faster than previous supervised fine-tuning methods and more than 10times faster than reinforcement learning baselines. Code and dataset will be released at https://github.com/eVI-group-SCU/V-Zero