Além das Escolhas Múltiplas: OpenQA Verificável para RFT Robusto entre Visão e Linguagem
Beyond Multiple Choice: Verifiable OpenQA for Robust Vision-Language RFT
November 21, 2025
Autores: Yesheng Liu, Hao Li, Haiyu Xu, Baoqi Pei, Jiahao Wang, Mingxuan Zhao, Jingshu Zheng, Zheqi He, JG Yao, Bowen Qin, Xi Yang, Jiajun Zhang
cs.AI
Resumo
A resposta a perguntas de múltipla escolha (MCQA) tem sido um formato popular para avaliar e fazer fine-tuning de reforço (RFT) de modelos modernos de linguagem multimodal. O seu formato de saída restrito permite uma verificação automática simplificada e determinística. No entanto, descobrimos que as opções podem revelar sinais exploráveis, o que torna as métricas de precisão pouco confiáveis para indicar capacidades reais e incentiva comportamentos de adivinhação de respostas, explícitos ou implícitos, durante o RFT. Propomos o ReVeL (Reescrever e Verificar por LLM), uma estrutura que reformula perguntas de múltipla escolha em perguntas de formato aberto, mantendo as respostas verificáveis sempre que possível. A estrutura categoriza as perguntas de acordo com diferentes tipos de resposta e aplica esquemas de reformulação e verificação diferentes, respetivamente. Quando aplicado para RFT, convertemos 20 mil exemplos MCQA e usamos GRPO para fazer o fine-tuning dos modelos Qwen2.5-VL. Os modelos treinados com ReVeL-OpenQA igualam a precisão MCQA em benchmarks de múltipla escolha e melhoram a precisão OpenQA em cerca de seis pontos percentuais, indicando melhor eficiência de dados e sinais de recompensa mais robustos do que o treino baseado em MCQA. Quando usado para avaliação, o ReVeL também revela até 20 pontos percentuais de inflação de pontuação nos benchmarks MCQA (em relação ao OpenQA), melhora a precisão da avaliação e reduz tanto o custo como a latência. Disponibilizaremos publicamente o código e os dados.
English
Multiple-choice question answering (MCQA) has been a popular format for evaluating and reinforcement fine-tuning (RFT) of modern multimodal language models. Its constrained output format allows for simplified, deterministic automatic verification. However, we find that the options may leak exploitable signals, which makes the accuracy metrics unreliable for indicating real capabilities and encourages explicit or implicit answer guessing behaviors during RFT. We propose ReVeL (Rewrite and Verify by LLM), a framework that rewrites multiple-choice questions into open-form questions while keeping answers verifiable whenever possible. The framework categorizes questions according to different answer types, apply different rewriting and verification schemes, respectively. When applied for RFT, we converted 20k MCQA examples and use GRPO to finetune Qwen2.5-VL models. Models trained on ReVeL-OpenQA match MCQA accuracy on multiple-choice benchmarks and improve OpenQA accuracy by about six percentage points, indicating better data efficiency and more robust reward signals than MCQA-based training. When used for evaluation, ReVeL also reveals up to 20 percentage points of score inflation in MCQA benchmarks (relative to OpenQA), improves judging accuracy, and reduces both cost and latency. We will release code and data publicly.