Más Allá de las Opciones Múltiples: OpenQA Verificable para un Ajuste Fino Robusto de Visión y Lenguaje
Beyond Multiple Choice: Verifiable OpenQA for Robust Vision-Language RFT
November 21, 2025
Autores: Yesheng Liu, Hao Li, Haiyu Xu, Baoqi Pei, Jiahao Wang, Mingxuan Zhao, Jingshu Zheng, Zheqi He, JG Yao, Bowen Qin, Xi Yang, Jiajun Zhang
cs.AI
Resumen
La respuesta de preguntas de opción múltiple (MCQA) ha sido un formato popular para evaluar y realizar el ajuste fino por refuerzo (RFT) de los modelos lingüísticos multimodales modernos. Su formato de salida restringido permite una verificación automática determinista y simplificada. Sin embargo, encontramos que las opciones pueden filtrar señales explotables, lo que hace que las métricas de precisión sean poco fiables para indicar capacidades reales y fomenta comportamientos de adivinación explícitos o implícitos durante el RFT. Proponemos ReVeL (Reescritura y Verificación por LLM), un marco que reescribe preguntas de opción múltiple en preguntas de formato abierto manteniendo las respuestas verificables siempre que sea posible. El marco categoriza las preguntas según diferentes tipos de respuesta y aplica esquemas de reescritura y verificación distintos, respectivamente. Al aplicarlo para RFT, convertimos 20k ejemplos de MCQA y utilizamos GRPO para ajustar los modelos Qwen2.5-VL. Los modelos entrenados con ReVeL-OpenQA igualan la precisión de MCQA en benchmarks de opción múltiple y mejoran la precisión en OpenQA en aproximadamente seis puntos porcentuales, lo que indica una mejor eficiencia de datos y señales de recompensa más robustas que el entrenamiento basado en MCQA. Cuando se utiliza para evaluación, ReVeL también revela hasta 20 puntos porcentuales de inflación en las puntuaciones de los benchmarks de MCQA (en relación con OpenQA), mejora la precisión del juicio y reduce tanto el coste como la latencia. Publicaremos el código y los datos de forma pública.
English
Multiple-choice question answering (MCQA) has been a popular format for evaluating and reinforcement fine-tuning (RFT) of modern multimodal language models. Its constrained output format allows for simplified, deterministic automatic verification. However, we find that the options may leak exploitable signals, which makes the accuracy metrics unreliable for indicating real capabilities and encourages explicit or implicit answer guessing behaviors during RFT. We propose ReVeL (Rewrite and Verify by LLM), a framework that rewrites multiple-choice questions into open-form questions while keeping answers verifiable whenever possible. The framework categorizes questions according to different answer types, apply different rewriting and verification schemes, respectively. When applied for RFT, we converted 20k MCQA examples and use GRPO to finetune Qwen2.5-VL models. Models trained on ReVeL-OpenQA match MCQA accuracy on multiple-choice benchmarks and improve OpenQA accuracy by about six percentage points, indicating better data efficiency and more robust reward signals than MCQA-based training. When used for evaluation, ReVeL also reveals up to 20 percentage points of score inflation in MCQA benchmarks (relative to OpenQA), improves judging accuracy, and reduces both cost and latency. We will release code and data publicly.