V-Zero: Antwort-Label-freie On-Policy-Destillation mit kontrastivem Evidenz-Gating für feinkörniges visuelles Schließen

Zusammenfassung

Feinkörnige visuelle Argumentation erfordert von multimodalen großen Sprachmodellen (MLLMs), aufgabenrelevante visuelle Evidenz zu identifizieren und ihre Schlussfolgerungen auf lokale Bildregionen zu stützen. Bestehende agentenbasierte Methoden verlassen sich typischerweise auf verstärkendes Lernen mit überprüfbaren Belohnungen oder überwachtes Feintuning anhand groß angelegter annotierter Argumentationspfade, was zu kostspieliger Exploration, manuell entworfenen Verifikationsregeln oder starker Abhängigkeit von textueller Überwachung führt. Ein natürlicher Weg, solche externen Antwortlabels zu vermeiden, besteht darin, aus Trajektorien zu lernen, die vom Schüler selbst stammen – dies verweist auf On-Policy-Destillation (OPD). Um zu verstehen, was OPD für die visuelle Argumentation leisten kann und wo seine Grenzen liegen, betrachten wir es erneut als negativfreie Stop-Gradient-Ausrichtung. Diese Perspektive zeigt, dass OPD zwar eine effektive Korrektur auf Token-Ebene ermöglicht, seine Obergrenze jedoch durch das Fehlen einer Unterscheidung auf Trajektorienebene eingeschränkt wird. Motiviert durch diese Beobachtungen schlagen wir V-Zero vor, ein antwortlabel-freies Framework für visuelle Argumentation mit kontrastivem Evidenz-Gating. V-Zero verwendet keine annotierten textuellen Antwortlabels; stattdessen wird während des Trainings ein fragerelevanter regionaler Ausschnitt mit einer negativen visuellen Ansicht gepaart, um schülergenerierte Trajektorien zu bewerten und die dichte Destillation auf Token-Ebene zu steuern. Experimente auf mehreren Benchmarks zur visuellen Argumentation zeigen, dass V-Zero die feinkörnige visuelle Argumentation konsequent verbessert und gleichzeitig eine starke Generalisierung beibehält. Bemerkenswerterweise ist V-Zero mehr als 5-mal schneller als frühere überwachte Feintuning-Methoden und mehr als 10-mal schneller als Baselines mit verstärkendem Lernen. Code und Datensatz werden unter https://github.com/eVI-group-SCU/V-Zero veröffentlicht.

English

Fine-grained visual reasoning requires multimodal large language models (MLLMs) to identify task-relevant visual evidence and ground their reasoning in local image regions. Existing agentic methods typically rely on reinforcement learning with verifiable rewards or supervised fine-tuning on large-scale annotated reasoning traces, leading to costly exploration, hand-designed verification rules, or heavy dependence on textual supervision. A natural way to avoid such external answer labels is to learn from trajectories sampled by the student itself, which points to On-Policy Distillation (OPD). To understand what OPD can and cannot provide for visual reasoning, we revisit it as negative-free stop-gradient alignment. This perspective shows that, although OPD provides effective token-level correction, its ceiling is constrained by the absence of trajectory-level discrimination. Motivated by these observations, we propose V-Zero, an answer-label-free framework for visual reasoning with contrastive evidence gating. V-Zero uses no annotated textual answer labels; instead, during training it pairs a question-relevant regional crop with a negative visual view to evaluate student-sampled trajectories and gate dense token-level distillation. Experiments on multiple visual reasoning benchmarks show that V-Zero consistently improves fine-grained visual reasoning while preserving strong generalization. Notably, V-Zero is more than 5times faster than previous supervised fine-tuning methods and more than 10times faster than reinforcement learning baselines. Code and dataset will be released at https://github.com/eVI-group-SCU/V-Zero