Cuando los modelos grandes entrenan a los pequeños: Alineación de paridad de modelos sin etiquetas para la respuesta eficiente a preguntas visuales utilizando pequeños VLMs
When Big Models Train Small Ones: Label-Free Model Parity Alignment for Efficient Visual Question Answering using Small VLMs
September 20, 2025
Autores: Abhirama Subramanyam Penamakuri, Navlika Singh, Piyush Arora, Anand Mishra
cs.AI
Resumen
Los Modelos de Visión y Lenguaje de Gran Escala (L-VLMs, por sus siglas en inglés) han demostrado un rendimiento notable en diversas tareas de visión y lenguaje, incluyendo la respuesta a preguntas visuales (VQA). Sin embargo, su alto costo computacional los hace poco prácticos para entornos con recursos limitados y aplicaciones que requieren inferencias intensivas. En contraste, los Modelos de Visión y Lenguaje de Pequeña Escala (S-VLMs) ofrecen eficiencia, pero sufren una brecha significativa de rendimiento en comparación con sus contrapartes más grandes. En este trabajo, presentamos el Model Parity Aligner (MPA), un marco novedoso diseñado para mejorar sistemáticamente los S-VLMs aprovechando imágenes no etiquetadas y una transferencia efectiva de conocimiento desde los L-VLMs. En lugar de los métodos tradicionales de destilación de conocimiento que dependen de datos de entrenamiento etiquetados, MPA emplea un enfoque estratégico basado en paridad que identifica con precisión las disparidades de conocimiento entre los S-VLMs y los L-VLMs, y optimiza el entrenamiento al enfocarse únicamente en estas disparidades. Realizamos experimentos exhaustivos en cuatro benchmarks diversos de VQA, a saber, TextVQA, ST-VQA, ChartQA y OKVQA, cada uno de los cuales requiere capacidades de razonamiento especializadas, como reconocimiento de texto, interpretación de gráficos, y comprensión de sentido común y hechos. Nuestros resultados demuestran que MPA mejora consistentemente el rendimiento de los S-VLMs en todos los benchmarks, reduciendo la brecha de rendimiento mientras mantiene la eficiencia computacional. Hacemos nuestro código públicamente disponible.
English
Large Vision-Language Models (L-VLMs) have demonstrated remarkable
performance in various vision and language tasks, including visual question
answering (VQA). However, their high computational cost makes them impractical
for resource-constrained settings and inference-heavy applications. In
contrast, Small Vision-Language Models (S-VLMs) offer efficiency but suffer
from a significant performance gap compared to their larger counterparts. In
this work, we introduce the Model Parity Aligner (MPA), a novel framework
designed to systematically improve S-VLMs by leveraging unlabeled images and
effective knowledge transfer from L-VLMs. Instead of traditional knowledge
distillation methods that rely on labeled training data, MPA employs a
strategic parity-based approach that precisely identifies the knowledge
disparities between S-VLMs and L-VLMs, and optimizes training by targeting only
these disparities. We conduct extensive experiments on four diverse VQA
benchmarks, namely TextVQA, ST-VQA, ChartQA, and OKVQA, each of which requires
specialized reasoning capabilities such as text recognition, chart
interpretation, and commonsense and factual understanding. Our results
demonstrate that MPA consistently enhances the performance of S-VLMs on all
benchmarks, reducing the performance gap while maintaining computational
efficiency. We make our code publicly available.