V-Zero: Destilación On-Policy sin Etiquetas de Respuesta con Compuerta de Evidencia Contrastiva para Razonamiento Visual de Grano Fino

Resumen

El razonamiento visual detallado requiere que los modelos de lenguaje grande multimodales (MLLMs) identifiquen evidencia visual relevante para la tarea y fundamenten su razonamiento en regiones locales de la imagen. Los métodos agénticos existentes suelen depender del aprendizaje por refuerzo con recompensas verificables o del ajuste fino supervisado en grandes conjuntos de datos con trazas de razonamiento anotadas, lo que conlleva una exploración costosa, reglas de verificación diseñadas manualmente o una fuerte dependencia de la supervisión textual. Una forma natural de evitar dichas etiquetas de respuesta externas es aprender a partir de trayectorias muestreadas por el propio estudiante, lo que apunta a la Destilación en Política (On-Policy Distillation, OPD). Para comprender qué puede y qué no puede aportar la OPD al razonamiento visual, la retomamos como una alineación con gradiente detenido libre de negativos. Esta perspectiva muestra que, aunque la OPD proporciona una corrección efectiva a nivel de token, su techo está limitado por la ausencia de discriminación a nivel de trayectoria. Motivados por estas observaciones, proponemos V-Zero, un marco libre de etiquetas de respuesta para el razonamiento visual con compuerta de evidencia contrastiva. V-Zero no utiliza etiquetas de respuesta textual anotadas; en su lugar, durante el entrenamiento empareja un recorte regional relevante para la pregunta con una vista visual negativa para evaluar las trayectorias muestreadas por el estudiante y regular la destilación densa a nivel de token. Los experimentos en múltiples bancos de prueba de razonamiento visual muestran que V-Zero mejora consistentemente el razonamiento visual detallado, al tiempo que preserva una fuerte generalización. Notablemente, V-Zero es más de 5 veces más rápido que los métodos anteriores de ajuste fino supervisado y más de 10 veces más rápido que las líneas base de aprendizaje por refuerzo. El código y los conjuntos de datos se publicarán en https://github.com/eVI-group-SCU/V-Zero.

English

Fine-grained visual reasoning requires multimodal large language models (MLLMs) to identify task-relevant visual evidence and ground their reasoning in local image regions. Existing agentic methods typically rely on reinforcement learning with verifiable rewards or supervised fine-tuning on large-scale annotated reasoning traces, leading to costly exploration, hand-designed verification rules, or heavy dependence on textual supervision. A natural way to avoid such external answer labels is to learn from trajectories sampled by the student itself, which points to On-Policy Distillation (OPD). To understand what OPD can and cannot provide for visual reasoning, we revisit it as negative-free stop-gradient alignment. This perspective shows that, although OPD provides effective token-level correction, its ceiling is constrained by the absence of trajectory-level discrimination. Motivated by these observations, we propose V-Zero, an answer-label-free framework for visual reasoning with contrastive evidence gating. V-Zero uses no annotated textual answer labels; instead, during training it pairs a question-relevant regional crop with a negative visual view to evaluate student-sampled trajectories and gate dense token-level distillation. Experiments on multiple visual reasoning benchmarks show that V-Zero consistently improves fine-grained visual reasoning while preserving strong generalization. Notably, V-Zero is more than 5times faster than previous supervised fine-tuning methods and more than 10times faster than reinforcement learning baselines. Code and dataset will be released at https://github.com/eVI-group-SCU/V-Zero