O Raciocínio Textual Pode Melhorar o Desempenho de MLLMs na Classificação Visual de Granularidade Fina?

Can Textual Reasoning Improve the Performance of MLLMs on Fine-grained Visual Classification?

January 11, 2026

Autores: Jie Zhu, Yiyang Su, Xiaoming Liu

cs.AI

Resumo

Os modelos de linguagem grandes multimodais (MLLMs) exibem fortes capacidades de propósito geral, mas ainda lutam na Classificação Visual de Granulação Fina (FGVC), uma tarefa de percepção central que requer discriminação visual sutil e é crucial para muitas aplicações do mundo real. Uma estratégia amplamente adotada para impulsionar o desempenho em tarefas desafiadoras, como matemática e codificação, é o raciocínio em Cadeia de Pensamento (CoT). No entanto, vários trabalhos anteriores relataram que o CoT pode, na verdade, prejudicar o desempenho em tarefas de percepção visual. Esses estudos, porém, examinam a questão sob ângulos relativamente estreitos e deixam em aberto a razão pela qual o CoT degrada o desempenho em tarefas intensivas em percepção. Reexaminamos sistematicamente o papel do CoT na FGVC através das lentes da avaliação *zero-shot* e de múltiplos paradigmas de treinamento. Através dessas configurações, descobrimos um paradoxo central: a degradação induzida pelo CoT é amplamente impulsionada pelo comprimento do raciocínio, no qual raciocínios textuais mais longos reduzem consistentemente a precisão da classificação. Denominamos esse fenômeno de "Custo do Pensamento". Com base nessa descoberta, fazemos duas contribuições principais: (1) \alg, um método de normalização simples e geral, do tipo *plug-and-play*, para otimização multi-recompensa que equilibra sinais de recompensa heterogêneos, e (2) ReFine-RFT, um *framework* que combina recompensas de *ensemble* com \alg para restringir o comprimento do raciocínio, fornecendo ao mesmo tempo *feedback* denso orientado para a precisão. Experimentos extensivos demonstram a eficácia das nossas descobertas e do ReFine-RFT proposto, alcançando desempenho de ponta em *benchmarks* de FGVC. O código e os modelos estão disponíveis em https://github.com/jiezhu23/ReFine-RFT{Link do Projeto}.

English

Multi-modal large language models (MLLMs) exhibit strong general-purpose capabilities, yet still struggle on Fine-Grained Visual Classification (FGVC), a core perception task that requires subtle visual discrimination and is crucial for many real-world applications. A widely adopted strategy for boosting performance on challenging tasks such as math and coding is Chain-of-Thought (CoT) reasoning. However, several prior works have reported that CoT can actually harm performance on visual perception tasks. These studies, though, examine the issue from relatively narrow angles and leave open why CoT degrades perception-heavy performance. We systematically re-examine the role of CoT in FGVC through the lenses of zero-shot evaluation and multiple training paradigms. Across these settings, we uncover a central paradox: the degradation induced by CoT is largely driven by the reasoning length, in which longer textual reasoning consistently lowers classification accuracy. We term this phenomenon the ``Cost of Thinking''. Building on this finding, we make two key contributions: (1) \alg, a simple and general plug-and-play normalization method for multi-reward optimization that balances heterogeneous reward signals, and (2) ReFine-RFT, a framework that combines ensemble rewards with \alg to constrain reasoning length while providing dense accuracy-oriented feedback. Extensive experiments demonstrate the effectiveness of our findings and the proposed ReFine-RFT, achieving state-of-the-art performance across FGVC benchmarks. Code and models are available at https://github.com/jiezhu23/ReFine-RFT{Project Link}.