Может ли текстовое рассуждение повысить производительность MLLM в задачах тонкой визуальной классификации?

Can Textual Reasoning Improve the Performance of MLLMs on Fine-grained Visual Classification?

January 11, 2026

Авторы: Jie Zhu, Yiyang Su, Xiaoming Liu

cs.AI

Аннотация

Мультимодальные большие языковые модели (MLLM) демонстрируют мощные универсальные способности, однако по-прежнему испытывают трудности с задачей тонкой визуальной классификации (FGVC) — ключевой задачей восприятия, требующей тонкого визуального различения и имеющей критически важное значение для многих практических приложений. Широко распространенной стратегией для повышения производительности на сложных задачах, таких как математика и программирование, является рассуждение по цепочке мыслей (CoT). Однако в ряде предыдущих работ сообщалось, что CoT может фактически ухудшать результаты на задачах визуального восприятия. Эти исследования, однако, рассматривают проблему под относительно узкими углами и оставляют открытым вопрос о том, почему CoT ухудшает производительность на задачах, требующих интенсивного восприятия. Мы систематически пересматриваем роль CoT в FGVC через призму zero-shot оценки и множественных парадигм обучения. В этих условиях мы обнаруживаем центральный парадокс: деградация, вызываемая CoT, в значительной степени обусловлена длиной рассуждения, причем более длинные текстовые рассуждения последовательно снижают точность классификации. Мы называем этот феномен «Ценой размышления». Опираясь на это открытие, мы делаем два ключевых вклада: (1) \alg — простой и универсальный модульный метод нормализации для многокритериальной оптимизации, который балансирует разнородные сигналы вознаграждения, и (2) ReFine-RFT — фреймворк, сочетающий ансамблевые вознаграждения с \alg для ограничения длины рассуждения при одновременном предоставлении плотной обратной связи, ориентированной на точность. Многочисленные эксперименты демонстрируют эффективность наших выводов и предложенного метода ReFine-RFT, который достигает наилучших результатов на эталонных тестах FGVC. Код и модели доступны по адресу https://github.com/jiezhu23/ReFine-RFT{Project Link}.

English

Multi-modal large language models (MLLMs) exhibit strong general-purpose capabilities, yet still struggle on Fine-Grained Visual Classification (FGVC), a core perception task that requires subtle visual discrimination and is crucial for many real-world applications. A widely adopted strategy for boosting performance on challenging tasks such as math and coding is Chain-of-Thought (CoT) reasoning. However, several prior works have reported that CoT can actually harm performance on visual perception tasks. These studies, though, examine the issue from relatively narrow angles and leave open why CoT degrades perception-heavy performance. We systematically re-examine the role of CoT in FGVC through the lenses of zero-shot evaluation and multiple training paradigms. Across these settings, we uncover a central paradox: the degradation induced by CoT is largely driven by the reasoning length, in which longer textual reasoning consistently lowers classification accuracy. We term this phenomenon the ``Cost of Thinking''. Building on this finding, we make two key contributions: (1) \alg, a simple and general plug-and-play normalization method for multi-reward optimization that balances heterogeneous reward signals, and (2) ReFine-RFT, a framework that combines ensemble rewards with \alg to constrain reasoning length while providing dense accuracy-oriented feedback. Extensive experiments demonstrate the effectiveness of our findings and the proposed ReFine-RFT, achieving state-of-the-art performance across FGVC benchmarks. Code and models are available at https://github.com/jiezhu23/ReFine-RFT{Project Link}.