¿Puede el razonamiento textual mejorar el rendimiento de los MLLM en la clasificación visual de grano fino?
Can Textual Reasoning Improve the Performance of MLLMs on Fine-grained Visual Classification?
January 11, 2026
Autores: Jie Zhu, Yiyang Su, Xiaoming Liu
cs.AI
Resumen
Los modelos de lenguaje grandes multimodales (MLLMs) exhiben sólidas capacidades de propósito general, pero aún presentan dificultades en la Clasificación Visual de Grano Fino (FGVC), una tarea de percepción fundamental que requiere una discriminación visual sutil y es crucial para muchas aplicaciones del mundo real. Una estrategia ampliamente adoptada para mejorar el rendimiento en tareas complejas como matemáticas y programación es el razonamiento en Cadena de Pensamiento (CoT). Sin embargo, varios trabajos previos han informado que CoT puede, de hecho, perjudicar el rendimiento en tareas de percepción visual. No obstante, estos estudios examinan el problema desde ángulos relativamente estrechos y dejan abierta la cuestión de por qué CoT degrada el rendimiento en tareas con alta carga perceptiva. Reexaminamos sistemáticamente el papel de CoT en FGVC a través de la lente de la evaluación zero-shot y múltiples paradigmas de entrenamiento. A través de estos escenarios, descubrimos una paradoja central: la degradación inducida por CoT está impulsada en gran medida por la longitud del razonamiento, en la que un razonamiento textual más largo reduce consistentemente la precisión de la clasificación. Denominamos a este fenómeno el "Costo del Pensamiento". Basándonos en este hallazgo, realizamos dos contribuciones clave: (1) \alg, un método de normalización simple y general plug-and-play para la optimización de múltiples recompensas que equilibra señales de recompensa heterogéneas, y (2) ReFine-RFT, un marco que combina recompensas de conjunto con \alg para restringir la longitud del razonamiento mientras proporciona retroalimentación densa orientada a la precisión. Experimentos exhaustivos demuestran la efectividad de nuestros hallazgos y del ReFine-RFT propuesto, logrando un rendimiento state-of-the-art en varios benchmarks de FGVC. El código y los modelos están disponibles en https://github.com/jiezhu23/ReFine-RFT{Enlace al Proyecto}.
English
Multi-modal large language models (MLLMs) exhibit strong general-purpose capabilities, yet still struggle on Fine-Grained Visual Classification (FGVC), a core perception task that requires subtle visual discrimination and is crucial for many real-world applications. A widely adopted strategy for boosting performance on challenging tasks such as math and coding is Chain-of-Thought (CoT) reasoning. However, several prior works have reported that CoT can actually harm performance on visual perception tasks. These studies, though, examine the issue from relatively narrow angles and leave open why CoT degrades perception-heavy performance. We systematically re-examine the role of CoT in FGVC through the lenses of zero-shot evaluation and multiple training paradigms. Across these settings, we uncover a central paradox: the degradation induced by CoT is largely driven by the reasoning length, in which longer textual reasoning consistently lowers classification accuracy. We term this phenomenon the ``Cost of Thinking''. Building on this finding, we make two key contributions: (1) \alg, a simple and general plug-and-play normalization method for multi-reward optimization that balances heterogeneous reward signals, and (2) ReFine-RFT, a framework that combines ensemble rewards with \alg to constrain reasoning length while providing dense accuracy-oriented feedback. Extensive experiments demonstrate the effectiveness of our findings and the proposed ReFine-RFT, achieving state-of-the-art performance across FGVC benchmarks. Code and models are available at https://github.com/jiezhu23/ReFine-RFT{Project Link}.